謝家祠堂位於永順縣城東5公里的連洞鄉，清同治六年(1867年)建成。整個建築坐東朝西，縱深60.69米，寬17.87米。

祠堂正面砌有青磚牌樓式門牆，門牆高7.75米，正中開石砌大門，門前兩邊置石凳。

入口為一進門樓，樓層較矮，懸山屋頂，六排五間。老簷柱與簷柱間為穿斗結構，出單挑，上飾雲紋木軒。前後金柱之間為抬梁結構，樓下中間為通道，樓上中間為戲臺。左右有廊房與正房相連。

過門樓為一天井，用青石板鋪面，兩側靠牆處有單坡瓦面的木廊房，房間有廊道，與門樓相映襯。

經天井過耳門上石級，為二進正房，懸山式瓦屋面，四排三間。兩側房間為穿斗結構，內柱之間為抬梁結構，脊瓜柱腰上及?

牽配雲紋飾板。中間房間兩前簷柱與內柱呈八字形，構成很大的“穿堂”，頗有氣勢。

二進和三進之間是一組樓閣建築，歇山重簷翹角，整個頂蓋恰好安排在馬頭牆之間的空檔中，增加了側立面的變化。

樓兩邊為小天井，靠牆處配有廊簷。

第三進正房為懸山瓦屋面，四排三間，五柱四騎，穿斗結構，簷柱、金柱之間飾雲紋木軒。該組建築置於2米高的土臺上，形成整個建築高潮，是供奉宗族祖先之室和族長們議事的場所。其後又是一組樓閣式建築，亦為三層，歇山重簷翹角，其特別之處是只有兩柱落地，而另兩柱分別置於橫樑上，充分體現了木排架結構的隨意性。

整個建築不上彩，少雕畫，佈局緊湊，建築外周有圍牆，三組馬頭牆錯落有致，清灰的瓦面、雪白的走線、淡赭的牆身、黑褐色的柱枋在寬闊綠野的映襯中，顯得莊重淡雅。