初祖庵位於登封市城西北15公里的小山丘上，其北為五乳峰，東南是少林寺的常住院。此庵為少林寺的一部分，又稱北庵。

初祖庵坐北向南，現存山門、大殿、千佛閣和兩座方亭，寺內還保存有宋、金、元、明、清歷代古碑四十餘通。

初祖庵大殿建于宋《營造法式》頒行後二十五年的北宋宣和七年(1125年)，又距宋都開封很近，所以建築史界對這座大殿的結構、石刻等做法十分重視。大殿面闊三間，進深三間，平面方形，單簷九脊頂。前後當心間開門，前次間開窗。當心間台明下設石砌踏道，左右設石階，中為素面陛石(或稱“御路”、“神道”)。踏道東、西側面作三角“象眼”，層層內疊為凹三角狀，是典型的早期做法。全殿用柱十二根，全為石柱，凡外露之面皆精工雕刻有各種圖案。為適應殿內實用需求，後金柱後移至上平榑與下平榑之間，是為移柱造。簷牆之下皆用石質護腳，且內外面遍雕以水波紋為背景的圖案，浮雕出魚龍變化、官宦僧侶、山水建築、各類神獸等。殿內神台四面亦是如此，且在北面浮雕出山野長條畫卷。如此精工細雕的藝術裝飾實是其他建築所罕見。

大殿梁架除兩後內柱向外移外，其他前後對應，並做成八棱狀。前內柱上用矮柱，作插柱造法。內架為上、下三椽栿對剳牽與前後乳栿。兩三椽栿間用氈笠駝峰，蜀柱下皆用合?，脊榑之下用叉手與丁華抹頦栱。柱頭鋪作用圓櫨斗，內柱頭用訛角櫨斗，外簷柱頭亦用訛角櫨斗。外簷斗栱為五鋪作單抄單下昂，所用材契比例較大。簷栱凡補間皆用真昂，而柱頭則用插昂。