西周时期，武王封文王第十七子为郇侯辖今新绛地，为侯国。春秋时期，郇国为晋所灭，地属晋。
战国时期，韩、赵、魏三家分晋后，地属魏，称汾城，隶属河东郡。
秦仍属河东郡。汉高祖时，封御史杜恬为长修侯，为侯国。东汉改为长修镇。
三国时属魏，置临汾县，隶平阳郡。西晋时，临汾县属平阳郡。
南北朝时，北魏太武帝始光四年（427年）于柏壁镇置东雍州，分临汾县为太平县和南太平县。太和十一年（487年）置正平郡。北周明帝武成二年（560年）改东雍州为绛州，徒闻喜县龙头城（今礼元镇龙兴堡）。武帝时复移于柏壁。建德六年（577年）再徒稷山县玉壁。
隋开皇三年（583年）州治从玉壁迁至今县城处，废正平郡，改为绛郡，领正平（今新绛）、龙门、太平、曲沃、翼城、稷山、绛、垣曲等8县。
唐武德元年（618年）置绛州总管府，辖绛、潞、盖、建、泽、沁、韩、晋、吕、浍、秦、蒲、虞、芮、邵等十五州，绛州领正平、太平、曲沃、闻喜、稷山等5县。武德三年（620年）罢总管府称雄郡，领正平、翼城、曲沃、闻喜、垣曲、太平、绛等7县。贞观中，绛州属河东道，领治仍旧。五代袭唐制。
宋为雄州，置绛郡防御，辖正平、曲沃、翼城、太平、稷山、绛、垣曲等7县。