隋炀帝连通这些小运河，最终修成隋朝大运河，主要分为四段：
大业元年（605年）三月，隋炀帝发河南诸郡男女百余万，开通济渠。通济渠分为三段：西段自东都洛阳西苑，引谷水、洛水，东循阳渠故道由洛水注入黄河；中段自洛口到板渚，是利用黄河的自然河流；东段起自板渚，引黄河水走汴渠故道，注入淮水。
大业元年（605年），隋炀帝开邗沟，所利用的不是吴国邗沟，而是利用的东汉陈登所开凿的邗沟直道。隋代前期，邗沟常淤塞。当时邗沟相当长的河道都是平水不流动，有堰坝控制，自淮安至扬州水程要四五日。邗沟北流河段，河床坡度较陡，流速较大，夏季水大时，逆水船不易上行，因此北端修建北神堰，位置为古末口（今河下古镇），主要以堰闸调节湖水。605年，隋炀帝疏通扩大了邗沟旧道以便行船，改称山阳渎，作为隋唐大运河的重要组成部分。
大业四年（608年），隋炀帝诏发河北诸郡男女百余万开永济渠，引沁水，南达于河，北通涿郡。永济渠也是利用之前王朝开凿留下的运河河道与自然水道疏浚而成的。自今河南武涉至汲县一段，用沁水、清水（即卫河）疏浚而成；自汲县至馆陶一段，基本上是利用曹操遏淇水入黄河古道白沟而成；在馆陶与沧州一段，是部分地利用了汉代屯氏河和西汉大河故渎而成；沧州至涿郡，又部分地利用漳水，至独流口则与漳水别而另辟新道，与漯水相接，经漯水到达涿郡。
大业六年（610年），隋炀帝下令开开江南运河。但江南运河的开凿也不是始于隋朝的。江南的运河的开凿历史，可以追溯到春秋时代，吴国开通了从今江苏到长江的运河。隋代的江南运河，只是在六朝以来所开凿的江南运河的基础上加以疏浚而成的，并不是隋炀帝时才开始开凿的。
隋唐大运河跨越地球10多个纬度，纵贯在中国最富饶的华北平原和东南沿海地区，地跨北京、天津、河北、山东、河南、安徽、江苏、浙江8个省、直辖市，是中国古代南北交通大动脉，在中国历史上产生过巨大作用，是中国古代劳动人民创造的一项伟大的水利建筑工程。
通济渠、邗沟、永济渠、江南运河：隋朝大运河一般指隋唐大运河，中国古代很早就有利用自然水源、修筑人工运河、灌溉农田和进行运输的历史。分裂时期，地方政权为大都开凿了一些地方性运河，这些运河，从客观上讲为隋开大运河做了准备。隋的开河，只是将若干自然河或旧沟连成一气，没有地方性运河的开凿，要想开隋朝大运河是缺乏基础的。