起初，会通河的范围较小，仅指临清——须城(东平)间的一段运道。后来，范围扩大，明朝将临清会通镇以南到徐州茶城(或夏镇)以北的一段运河，都称会通河。会通河是南北大运河的关键河段。明洪武二十四年(公元1391年)，黄河在原武(河南原阳西北)决口，洪水挟泥沙滚滚北上，会通河1/3的河段被毁。大运河中断，从运河漕粮北上被阻。

　　永乐元年(公元1403年)，定北平为北京，准备将都城北迁。永乐帝鉴于海运安全没有保证，为解决迁都后的北京用粮问题，决定重开会通河。永乐九年(公元1411年)，他命工部尚书宋礼负责施工，征发山东、徐州、应天(南京)、镇江等地30万民夫服役。主要工程为改进分水枢纽、疏浚运道、整顿坝闸、增建水柜等。其中有些工程在当年即告完成。

　　改进分水枢纽。元朝的济州河，以汶、泗为水源，先将两水引到任城，然后进行南北分流。由于任城不是济州河的最高点，真正的最高点在其北面的南旺，因此，任城分水，南流偏多，北流偏少。结果，济州河的北段，河道浅涩，只通小舟，不通大船。分水枢纽选址失当，是元朝南北大运河没有发挥更大作用的主要原因。宋礼这次治运河，对它作了初步改进。他除维持原来的分水工程外，又采纳熟悉当地地形的汶上老人白英的建议，在戴村附近的汶水河床上，筑了一条新坝，将汶水余水拦引到南旺，注入济州河。济州河北段随着水量的增多，通航能力也就大幅度地提高了。

　　几十年后，人们对这一分水工程又作了比较彻底的改进，即完全放弃元朝的分水设施，将较为丰富的汶水，全部引到南旺分流，并在这里的河床上建南北两坝闸，以便更有效地控制水量。大体上说为三七开，南流三分，南会泗水，北流七分，注入御河。人们戏称：“七分朝天子，三分下江南。”

　　疏浚河道。可分两个部分。一是将被黄河洪水冲毁的一段运道，改地重新开凿出来。旧道由安山湖西面北注卫河，新道改从安山湖东面北注卫河。改道到湖东，黄河泛滥时，有湖泊容纳洪水，可以提高这段水道的安全程度。又因为这里的地势西高东低，运道建于湖东，便于引湖水补充运河水量。二是展宽浚深会通河的其他河道。一般说，要将它挖深到13尺，拓宽到32尺。这样，即便是载重量稍大的粮船，也可顺利通过。

　　整顿坝闸。南旺湖北至临清300里，地降90尺。南至镇口(徐州对岸)290里，地降116尺。会通河南北的比降都很大。为了克服河道比降过大给航运造成的困难，元朝曾在河道上建成31座坝闸。这次明朝除修复元朝的旧坝闸外，又建成七座新坝闸，使坝闸的配置更为完善，进一步改进了通航条件。由于会通河上坝闸林立，因此，明人又称这段运粮河为“闸漕”。

　　除上述工程外，为了更好地调剂会通河的水量，宋礼等人“又于汶上、东平、济宁、沛县并湖地”，设置了新的水柜。

　　经过明朝初年的大力治理，会通河的通航能力大大提高，漕船载粮的限额，每船由元朝的150料，提高到明朝的400料；年平均运粮至京的数量，由以前的几十万石，猛增到几百万石。明初成功地重开会通河，加强了永乐帝迁都北京的决心，并宣布停止取道海上运输南粮。