自宋朝起，太湖流域便成为我国最重要的产粮区，有“苏湖熟，天下足”的说法。元朝以大都为都。都城官兵、百姓众多，粮食的消耗量极大，每年需要调入外粮200多万石。太湖流域成了大都用粮的主要供应地。

　　起初，南粮北运，元政府采用双管齐下的办法进行。一条管道是海运。粮船从江苏太仓刘家港起锚，出长江口沿海岸北上，绕过山东半岛，驶入渤海湾，傍岸到直沽(今天津市)，然后再循白河(今北运河)达通州(今北京市通县)。海运有优点，如运量大，节省人力和费用，但海难较多，常有船舶漂失，不及河运安全。

　　另一条渠道是河运。将江南粮食装船，沿江南运河、淮扬运河(扬楚运河)、黄河、御河(卫河，相当于永济渠中段)、白河抵通州。这条运道问题较多。黄河为西东走向，北上粮船须向西绕到河南封丘，航程很大；从封丘到御河，还有200多里，无水道可以利用，必须改成车运，道路泥泞，车行困难。

　　元朝统治者迫切需要有一条径直而安全的水道，从大都直达江南。为实现这一愿望，关键问题是山东地区能否穿凿运河，只要在这里凿出一条渠道，南北直运问题便可迎刃而解。忽必烈派杰出的水利名家郭守敬深入当地调查，得出肯定的答案后，便在至元十九年(公元1282年)，委派兵部尚书奥鲁赤组织人力，在济州(今济宁市)境内施工。第二年完成，这便是济州河。它南起济州鲁桥，北到须城(治所在今东平县)安山，长150里左右。这里地处鲁中山地西缘，与其南北相比，地势稍高。建设这条运河，解决水源问题和比降问题，都是工程的重点和难点。

　　汶水和泗水是运河附近两条稍大一点的河道，都发源于鲁中山地。前者向西向北流，是大清河的上源。后者向西向南流，是淮水的支流。两者之间，还有一条小水叫洸〔guang光〕水(一说洸水为汶水汊流)，其流域地势又比汶、泗略高。于是，建设者们分别在汶、泗上游各建一座拦河坝，将汶、泗两水集中于洸水，沿洸水河道至任城(在今济宁市境)进入新开的济州河。济州河一部分水南流，回到泗水故道，下通淮水；一部分水北流，回到汶水故道，汶水下通大清河。济州河的穿凿，沟通了淮水和大清河。汶、泗两水，雨季、旱季水量的差异较大，为了以丰补歉，保证济州河常年都有一定的水量，建设者们又于河旁修筑一些水柜，进行调剂。

　　由于济州河位于鲁中山地西缘，比南面的泗水河道和北面的汶水河道都高，因此，南北河床的纵比降都偏大。比降偏大，不仅航行困难，而且河水也容易流失。济州河本来水源不足，过多的河水流失，便会导至断航。为了解决这个问题，建设者们在比降较大的河段上，修建了一批闸门，无船时，闭闸保水，来船时，开闸通航。

　　大清河原是古济水的下游，它下注渤海。这样，南来漕船便可循泗水、济州河、大清河、渤海、白河，直达通州了。不过，大清河也不是一条理想的水道，除其本身水量不足外，又有潮水顶托和河口多沙等问题，漕船常常受阻。人们认为，南北之间内河航运还有进一步改进的必要，于是，又有会通河工程的兴起。

　　首先建议穿凿这条运河的是寿张(治所在今山东梁山县西北)县尹韩仲晖和太史院史边源。经朝廷派人深入现场调查，确认切实可行后，命江淮行省断事官忙速儿、礼部尚书张孔孙、兵部郎中李处选负责施工，征丁夫三万人服役。至正二十六年(公元1289年)开工，南起须城安山，接济州河，北到临清，与卫河会合，长约250里。行船的渠道工程，当年凿成，解决比降、保水等问题的坝闸，则在以后陆续完工。这段新凿的运道，初名安山渠，后来，因为它是条“古所未有”的“通江淮之运”的水道，南粮可以直达京郊，忽必烈十分高兴，正式赐名为“会通河”。

　　鲁西一带，地势高于南面的江苏和北面的河北，是南北大运河的河脊，水源又比较短缺，工程十分复杂，但人们还是千方百计地建成济州、会通两河，使南北水运联成一线，在我国运河史上具有划时代的意义。当时两河虽然因为技术上的原因，还不能通航较大的船舶，因而也没有取代海运，成为南北漕运的主要渠道，但它却为明代完成这一任务奠定了基础。