此塔位於祁門縣胥嶺鄉塔下村，平面為六邊形，五層，筒式結構，以磚砌圓錐形封頂，無塔刹。塔高23.1米，其中台基高1.1米。塔底邊每面長2.83米，壁厚1.48米，五面開圭形門，正北為向外開的佛龕。底層無角倚柱，門洞頂上隱出闌額枋，闌額高25釐米，各轉角原設置有轉角鋪作，圓形轉角櫨斗直徑26釐米，直接擱在闌額枋上，各邊設有補間鋪作一朵，栱眼中仍殘留有木構遺件，截面尺寸為11.5釐米×16.2釐米。二、三層各轉角原設置有圓形或方形抹角倚柱，上置柱頭鋪作，無補間鋪作設置。各層樓板全佚，緊貼塔內壁各邊安置的木樓板枋大部完好，截面為21.5釐米×8.7釐米，挑出塔內壁6釐米左右，門頂及承重結構部位皆夾砌木板拉筋，以強化塔的整體性。整個塔體以黃泥砌築，遍貼佛像磚四百餘塊。塔的四、五兩層，無論外貌、形制、特徵，還是所用磚材的色澤、規格，都與下部三層有明顯差別，系晚期建造。

據明永樂年間《祁閶志?寺觀》(手抄本)記載，偉溪塔為北宋元祐八年(1093年)所建。據塔的一至三層建築特徵判斷，應為宋代建造，而四、五兩層應為明、清時期所修。