孔宅坐落在太谷縣城內無邊寺的西側，建於清乾隆年間(1736～1795年)，是目前保存較完整的一座大型宅院。

孔宅東西寬91米，南北長69米，由四條東西向排列的軸線組成，每條軸線上有數座院落，各院落前後由過廳分隔，左右有垂花門或月洞門與鄰院相通。宅院兩側建有東、西花園，約占總面積的１／３，在北方氣候條件下，用如此大的面積建造花園是難能可貴的。

東數第二條軸線為主軸線，共三進院落，北面為宅院的主要入口，木結構門樓，簷下有斗栱，飛簷挑出，華麗壯觀。前院北部為五間門廊，東西兩廂為敞廊，東有八角門可入東花園，西可通書房院，南為宅院二門。二門為磚雕垂花門樓，後為五間帶柱廊的卷棚頂過廳。經過廳迎面是三間正廳(官廳)，硬山頂雕花飛脊，前有柱廊，是宅院主人起居待客的地方，東、西廂房均為單坡頂，當地稱東廂房為三有堂(有猷、有為、有守)，稱西廂房為三多堂(多福、多壽、多男)，是供內眷居住的地方。通過正廳西側的夾巷可達後院，東、西兩樓為女眷居住，南樓一層抱廈原懸“謹節亭”匾額，二樓正中懸“瀛台風範”匾
額，這處院落是主人居住及接待賓客的主院。

東花園為宅院主人休息遊樂之處，中間部分以過廳將花園一分為二，北樓前有假山、涼亭、花木，形成主景，而南樓前有小戲臺、東舫、西軒，形成一個較開敞的活動場所，花園東西有遊廊將南北樓相連，整個花園佈局自由、舒展流暢。

西花園與東花園相比規模及佈局迥異，院中央鑿地為池，中築歇山卷棚頂方亭(小陶然亭)，南北以石拱橋與岸相連，是該園的主要景觀。園北是硬山單坡頂大廳(賞花廳)。

書房院位於主院之西，院北有書房三間，名曰“日知月無忘齋”，室內木隔斷上懸有“芝蘭室”匾額，幽靜雅致。書房院之南是狹長的廚房及雜物院。西偏院與西花園毗鄰，北有七間偏廈，西北角建一木構方亭。戲臺院在西花園之南，院內有抱廈式歇山頂戲臺，雕飾華麗，東西兩廂為看戲之處。墨莊院在西偏院之南，有過廳三間，是當年的帳房院。

孔宅規模宏大，庭院空間富於變化，是當地為數不多的帶有花園的大型民居之一。