卫辉市，殷商时为畿内牧野地。周武王灭纣，封邶、鄘、卫三国，此地属鄘。成王平武庚叛乱后，邶、鄘并于卫，此地属卫。
春秋时期，卫遭狄侵，戴公东渡，此地更属于晋。战国时期，属魏，始有汲邑之称。秦初属河东郡东境，后属秦河内郡。
西汉高祖二年（公元前205），始置汲县，属河内郡。十一年（公元前196），封公上不害于汲，称终侯（即汲绍侯），国名汲。东汉顺帝年间（126至144），县令崔瑗筑县城于汲城村。
三国时期，属曹魏朝歌郡。西晋泰始二年（266），设汲郡，郡治汲城。辖汲县、朝歌、共县、获嘉。
北魏道武帝登国元年（386），迁郡治于枋头（今浚县枋城），孝文帝太和二年（488），郡治复迁汲县。东魏兴和二年（540）夏，西魏行台宫延和、陕州刺史宫元庆率户归属东魏，侨置义州于陈城（今城区城关），辖伍城郡、伍城县等7郡19县。北齐废义州存伍城郡。北周武帝宣政元年（578），废汲郡、伍城郡，置卫州，州治朝歌，改汲县为伍城县，属卫州，县治设陈城，原汲城县治废。
隋文帝开皇六年（586），改伍城县为汲县。炀帝大业三年（607），改卫州为汲郡，郡治卫县（今浚县卫贤），汲县属之。
唐高祖武德元年（618），设义州，州治汲县。武德四年（621）废义州，汲县改属卫州，州治卫县。贞观元年（627），州治移汲。辖汲县、卫县、共城、新乡、黎阳五县。
五代属卫州，州治汲县。
宋属卫州，州治除先后短时间迁共城和胙城外，其余时间均在汲县。
金属卫州河平军，世宗大定二十六年至二十八年（1186至1188）州治曾迁共城，金宣宗贞祐三年（1215）迁胙城。
元世祖中统二年（1260），属卫辉路总管府，路治汲县。领录事司、辉州、淇州。辖汲县、新乡、获嘉、胙城四县。
明、清属卫辉府，府治汲县。先后辖汲县、胙城、新乡、获嘉、淇县、辉县、延津、浚县、滑县、封丘、考城11县。 民国2年（1913），废府设道，属河南省豫北道，道治汲县。民国3年豫北道改称河北道。辖汲县、武陟、安阳、汤阴、临漳、林县、内黄、武安、涉县、新乡、获嘉、淇县、辉县、延津、浚县、滑县、封丘、沁阳、济源、原武、修武、孟县、温县、阳武24县。
民国16年（1927）废道，实行省县两级制，汲县直属河南省。
民国22年（1933）2月，河南省划分为11个行政督察区，汲县属第三行政督察区。
民国30年（1941）末，河南省改划为13个行政督察区，汲县属第十三行政督察区。
民国33年（1944）9月，又改属第三行政督察区，直至县城解放。
1943年5月，中国共产党领导的汲县抗日民主政府在西北部山区柳树岭村成立，属太行行署第七专员公署领导（以下简称太行专署）。
1944年12月，汲县抗日民主政府与淇县抗日民主政府合并，成立汲淇联合县抗日民主政府，仍属太行七专署。政府机关先后驻正面、狮豹头、小店河、塔岗等村。
1945年8月，抗日战争胜利后，汲淇联合县抗日民主政府改为汲淇联合县民主政府。10月改属太行五专署。
1946年6月，汲淇联合县民主政府改属太行三专署。
1947年3月，撤销汲淇联合县，成立汲县民主政府，属太行五专署。
1948年11月7日，县城解放，县政府机关迁驻县城。划城区和城郊部分村庄成立卫辉市，与汲县同属太行五专署。
1949年2月，撤销卫辉市，其辖区复归汲县，汲县改属太行四专署。5月，汲县改属太行区新乡专署。8月，平原省建立，汲县属平原省新乡专署。 1952年11月，平原省撤销，改属河南省新乡专署。
1983年9月1日，改属河南省新乡市。
1988年10月，撤销汲县，建立卫辉市，属河南省直辖，由新乡市代管。
