少林寺位於登封市城西北13公里的少室山陰五乳峰下，創建於北魏太和二十年(496年)，初由西域沙門跋陀在這裏傳播小乘佛教，其後由印度僧人菩提達摩常以大乘之教游化於嵩洛之間，被後人尊為禪門初祖。

現寺院由常住院、初祖庵、二祖庵、塔林等幾部分組成。

常住院居少溪河以北，坐北向南，中軸線對稱佈局，七進院落，依多層臺階由南而北顯著提高，前後高差達20余米。山門前有少陽石橋一座，單孔圓券，為清代晚期建築。山門東、西側有明代建造的石牌坊兩座，其內為廣庭，山門前立石獅一對，門前柏樹林帶茂密，伴著紅牆綠瓦的古?，別有一番幽靜神秘之感。

山門面闊三間，歇山式建築，創建于清雍正十三年(1735年)，門匾“少林寺”三字是清康熙皇帝的御筆。山門左右建有兩掖門，用於平時車馬出入。山門以內，古樹之間，立有三十多通古碑，素有“碑林”之稱。碑林之東，隔牆以外，原為慈雲堂，早廢，現為碑廊。碑林之西，原為“西來堂”，也早廢，現以碑廊形式建作錘譜堂。山門內經甬道直達天王殿。

天王殿原建築毀於1928年，現存建築為近年複建。複建後的天王殿為重簷歇山式，琉璃瓦頂，中柱造過門，中柱前後均有塑像。此殿面闊小五間(梢間實為半間)，進深四間。殿左右亦各建掖門一座。

天王殿后為大雄寶殿，原殿毀於1928年，現存建築為1986年重建。重建的大雄寶殿面闊五間，進深四間，重簷歇山頂，頂覆綠琉璃瓦。殿內有三世佛、十八羅漢等塑像。大雄寶殿東側立緊那羅王殿，硬山式建築，面闊三間；西側為六祖殿，亦為面闊三間的硬山式建築。

大雄寶殿後為法堂，1928年毀於兵火，現有建築為近年重建。重建的法堂面闊五間，進深四間，單簷歇山頂。法堂東、西兩側為硬山式禪堂，各五間，東禪堂背面緊連僧院。

法堂後為一高臺，上建三座單間懸山式垂花門，由此門進入方丈院。方丈院正中為面闊五間的硬山式方丈室，東、西側有寮房及其他僧舍。

方丈室後為立雪亭，系建于明代的單簷廡殿頂小殿，面闊三間，進深三間。現殿內金柱上刻有明代之題記，殿內正中懸掛的“雪印心珠”橫匾系乾隆皇帝所題；佛龕內供有達摩銅像；東間窗旁懸有明萬曆十七年(1589年)的銅鐘一口。

千佛殿位於寺最後處，又名毗盧閣，面闊七間，硬山式建築，創建于明萬曆十六年(1588年)，明間懸“西方聖人”豎匾，簷下用斗栱。現存建築經過清代大修，平面有所變化。殿內供有銅質大毗盧佛像和明代南無阿彌陀佛漢白玉像各一尊；東、西及北壁繪有300餘平方米的大型彩色壁畫，名“五百羅漢朝毗盧”，其規模為國內同時代壁畫中所罕見。千佛殿東側為白衣殿，面闊五間，硬山式建築，殿內繪有清末壁畫多幅。白衣殿對面為地藏殿，面闊五間，內壁有近代人所繪的閻君像。

常住院之西有一塔林，占地面積2.1萬平方米，塔沿山坡而建，分佈不太規則，共有唐、宋、金、元、明、清古塔二百三十座，有重要研究價值者有唐法玩禪師塔、唐無名塔、宋普通塔、金代衍公長老塔以及元代照公和尚塔等。

初祖庵在塔林北的一個小山阜上，現有山門三間、大殿三間、千佛閣三間及兩座方亭。

二祖庵在少林寺西南的缽盂峰頂，今僅存一殿三塔。其中周萬歲登封元年(696年)建造的方形磚塔極具研究價值。

三祖庵在寺東北，距寺最遠，且無殿宇，僅存磚塔一座。

在寺院周圍，還有同光禪師塔、法如禪師塔、白塔等，均有重要的研究價值。