該文廟位於湘陰縣城關鎮東湖西岸，始建于宋慶曆八年(1048年)，後歷經修建。現存建築為清乾隆九年(1744年)重修，又經道光十年(1830年)和光緒六年(1880年)兩次大修。

建築坐北朝南，占地面積6600平方米。中軸線上有“金聲玉振”沖天牌坊，半圓形泮池，池上有狀元橋，池橋圍以石欄杆。橋頭有“太和元氣”石坊，清乾隆時為欞星門，光緒十一年(1885年)改為現名，坊高9.5米，寬4.2米，六柱三門三樓，邊柱前後各有一對獅、象，額枋上有龍、鳳、花卉、人物雕刻，造型莊重。

大成殿，磚木結構，面闊三間，進深三間，有回廊，面積365.5平方米，花崗石台基，殿前有月臺，殿與月臺均有石欄杆圍護。殿除四根內金柱為木質外，餘為花崗岩石柱，共三十六根。殿高15米，重簷歇山頂，黃色琉璃瓦，上層屋簷正面出一單簷歇山頂亭閣，簷下施如意斗栱，頗具特色，脊飾鏤空花磚及鴟尾鼇魚，體量高大，做工華美。殿內現存清康熙年間石碑兩塊，記載該殿歷史變遷與修葺情況。文廟原有明倫堂、尊經閣、崇聖祠、東西齋、鐘鼓樓、仰高亭等，早毀無存。