觀音閣位於永州市東2.5公里的瀟水河心的石磯小島上。島東西寬約20米，南北長約15米，四時氣候水位變化時呈現不同景色，成為“永州八景”之一的“香零煙雨”。清同治二年(1863年)邑紳倡建觀音閣於島上，招僧居閣。

閣為兩層磚木結構，殿堂三間，兩側附僧房、雜屋各一間，圍以封火山牆，與島形成一體，更為之增色。