太平山房書院位於青陽縣陵陽鄉所村西，背依龍王山，南臨千嶂疊翠的林場。該建築平面呈長方形，通面闊五間15米，通進深五進71米，占地面積1100平方米。從南向北依次為門樓、門屋、前廳、正廳、寢樓，每進以走廊、廂房、天井相連，其建築佈局類似徽州祠堂。書院正面是巍峨聳立的門坊，四柱三樓式，明間匾額楷書陰刻“積善流芳”四個大字，枋額間磚雕古代戲文典故，底座是大理石雕刻的須彌座，坊簷用水磨磚斗栱出挑。書院兩側立砌馬頭牆，形成封閉式的外觀。書院內部建築是抬梁式梁架結構，一百一十六根圓方柱頂梁而立，碩大的月梁縱橫飛架，彩繪畫枋穿插其間，氣勢恢宏壯觀。五進柱網結構均採用徽州祠堂中常見的減柱法，用大額承托明間正貼梁架。簷下採用木雕斜撐，無斗栱，簷柱與金柱間加軒篷頂。柱礎有鼓鏡式、素覆盆式、青腳式，石礎上精雕繁縟的花卉、珍禽圖案。最後一進寢樓是面闊五間、進深三間的兩層樓，樓基前沿置白色大理石雕刻的欄板和石級。

據太平山房書院的建築特徵和保存的有關碑刻推斷，後進寢樓、正廳系明代建築，前廳建于清初。據“樂輸義學碑記”載，清乾隆三十六年(1771年)為方便本郡生童鄉試、會試及興辦義學，改建公祠作為學館之用。據“續捐義學太平山房碑記”載，清咸豐二年(1852年)擴建前進，成現在規模。