衡阳历史悠久，在战国时期为楚国所辖，是楚国的重要城镇。秦始皇统一中国后，衡阳归属于长沙郡。三国时期，衡阳分属于衡阳郡和湘东郡。
二郡分立的情况直至隋朝才有改观。隋代废衡阳、湘东二郡而立横州。唐朝天宝年间又曾将衡州改称衡阳郡，直至乾元元年才复用衡州。
宋代时期衡州又为衡阳郡。元改为衡州路。明清两朝则为衡州府。民国废府、道而存县。
抗战时期，衡阳曾作为飞虎队的一个重要前进基地，在抗日战争中有着不可估量的作用。
1949年10月8日衡阳解放，1980年成为省辖市。