秦庄襄王元年（公元前249年），秦军攻入韩国，三川郡郡治洛阳，不久迁至荥阳，郑州市区所在的管邑隶属于荥阳下辖的京县。秦王政十七年（公元前230年），秦又置颍川郡，郡下置新郑、苑陵（今新郑市东北），阳城（今登封市告城镇）等10县。
汉王二年（公元前205年），刘邦进占洛阳后，改三川郡为河南郡，于郡内新置密、成皋（今荥阳市汜水镇）、故市（今郑州市区北15千米）、中牟等县，并将新郑、苑陵二县划入河南郡。汉武帝元封元年（前110年）到嵩山封禅，划地置崇高县，不久，又置纶氏县（今登封市颖阳镇），皆属颍川郡。东汉改河南郡为河南尹，将崇高县并入阳城县。今郑州市区所在的管邑隶属于汉高祖所封闫泽赤为侯国的故市县，至汉武帝刘彻元鼎五年（前112年），故市侯国被废，管邑划归中牟县。东汉以后，“管邑”之名逐渐为“管城”所代，依属中牟县。
元初将新郑县划归郑州，郑州属汴梁路。至元二年（1265年），新郑、密县改属钧州，荥泽、原武划归开封府。郑州仅领管城、荥阳、汜水、河阴4县。
明朝，对全国地方建置进行改革，实行行省、府（直隶州）、县三级制，管城县裁入郑州。时郑州虽仍领有荥阳、荥泽、河阴、汜水四县，但却是作为属州（县级）。同中牟、新郑、密县同隶属于开封府。
民国二年（1913年）2月，全国统一将府及直隶厅、直隶州、散厅、散州治所皆改为县，郑州直隶州改称郑县，改开归陈许道为豫东道。
1948年10月郑州解放后，在郑县城区设立郑州市，直属河南省领导。1953年2月，郑县撤消，其辖区划归郑州市及新郑、中牟2县。1954年10月30日，河南省政府由开封迁往郑州，郑州市从此成为河南省省会。