因位于汾河之阳（西）而得名。
汾阳，历史悠久。周为古兹国，县置春秋属晋，为瓜衍县地，战国属赵，为兹氏县。秦庄襄王三年（前247）地入秦，属太原郡。汉因之。三国魏黄初二年（221年），置并州西河郡于兹。西晋咸宁三年（277年），陈王司马斌改封西河王驻此，郡改为国，县易名隰城。北魏太延中（435-440年），改隰城为什星军。太和八年（484年），复名隰城，邑置西河郡，隶汾州。孝昌二年（526年），汾州移治隰城仍领西河郡，天宝元年（742年）改汾州为西河郡，乾元元年（758年），复名汾州，而治所均设隰城县未变。
肃宗上元元年（766年），县名改称西河，历五代、宋、元，汾州治所在县城亦未改，其间，宋置汾阳军于县。明洪武元年（1368年），改汾州为直隶州，州治仍设西河，兼领平遥，介休、孝义三县。万历二十三年（1595年），升州为府，依郭设汾阳县。又置冀南道、府、道治均驻县城。此前，县名虽未以汾阳冠名，而俗以汾阳为县别名，盖以县城居汾水之阳故，清康熙五年（1666年）冀南道并入冀宁道，府县遂隶。民国元年（1912年）废府，民国19年废道。
1949年，山西省人民政府成立，设汾阳专区，行署驻县。1951年，撤汾阳专区，隶属榆次（晋中）专区。1971年划归新成立的吕梁地区。1996年8月，经国务院批准，汾阳撤县设市。2004年，汾阳市成为山西省计划外单列市。
公路 汾阳市是吕梁地区及山西中部地区交通运输的重要枢纽，各级公路交错覆盖全境。是山西省“城镇体系十一五规划”中重点建设的11个公路铁路交通枢纽之一。太汾高速公路、307国道(国道307改建工程，起点位于汾阳市与文水交界处的冀村镇北，沿307国道途经杏花村镇、汾阳市、杨家庄镇、薛公岭、吴城镇、田家会、离石城区等，终点止于离石区南关村西，全长100.13公里，概算投资3.39亿元。 2008.8.6剪彩通车）
横穿市境中部，汾屯、汾介公路沟通307国道、大运公路和南同蒲铁路，夏汾（交城夏家营至汾阳）高速公路为吕梁境内的第一条高速公路。汾柳高速公路与夏汾高速公路相接,纵贯汾阳市。新开工的汾平高速公路是山西省三纵九横高速公路网的重要组成部分，其终点至河北省邢台市，是又一条重要的中部出省通道。
铁路 孝柳铁路过境，并在石庄镇建有50万吨发煤站。新开工的太中银铁路在汾阳建有大型客货两用站。汾阳火车站也是山西省铁路规划中重要的集装箱运输站之一。
航空 汾阳市区距离太原市武宿飞机场仅有100公里，驱车1小时左右即可到达，乘坐飞机出行非常方便。
