605年4月14日，隋炀帝下令开凿大运河，隋炀帝修建大运河的工程分4段进行。
隋大业元年三月二十一日隋炀帝命尚书右丞皇甫议发河南、淮北诸郡民，前后百万，开通济渠。
通济渠起于洛阳城，西引涧水、洛水入黄河，又从极清把水镇东北周黄河水向东到洋州，再顺汴水经商丘，折向东南，接通蕲水，经皖北至淮阴入淮水。
第一段工程沟通了洛水、黄河和淮河。
同年，隋扬帝又征发淮南民十万开邢沟。
608年2月，再次下诏发河北诸军百万穿永济渠，引沁水南达于河，北通深郡。
611年元月，隋炀帝敕穿江南河油京日至余杭，八百余里。
这段工程的告竣，全长4000多里的大运河贯通，成为中国南北交通的大动脉。