耒雁塔位於衡陽市城北湘江與蒸水交匯處“合江套”石磯上，與回雁峰遙相對峙，故名耒雁塔。《衡陽縣誌》載：明萬曆五年(1577年)邑人曾朝節及第，歸後建塔，成于明萬曆十九年(1591年)。清嘉慶、道光、同治及民國年間均經修葺。

塔為磚石結構，八角七級，高36米。塔基紅砂石砌築，塔身磚砌，壁內設石梯折上。每層設四門。塔簷石砌，第一層簷下有石雕五踩斗栱。一至三層外沿設回廊，第一層用木樓板，第二層用磚拱券，第三層用八角攢尖拱頂，第四層木樓板，第五、六層採用八角疊澀頂，上鋪木板，做法不一，較為少見。