在山西境內，歷代共修築了3500多公里的長城，如今有遺跡可辨的尚保留有2000多公里，保留比較完整的有1200多公里。其中年代最早的是戰國長城，保存最長且較好的是明代長城。

戰國長城在山西主要是趙長城，也就是趙肅侯時修築的“趙北城”，東起河北淶源縣，西入山西的靈丘縣、繁峙縣、應縣、山陰縣、代縣雁門，由此轉西南入寧武縣、五寨縣、岢嵐與嵐縣交界處到興縣，往西北到保德縣黃河岸止，隨地形高低起伏，因地制宜，就地取材而修築，在山西境內長達350多公里。該長城現存遺跡有50多公里，高不足1米，大多是石頭築成，少數地段為黃土夯築，夯層平均厚13釐米，夯窩徑8釐米。

長城、關隘的修築工程，在明朝的二百七十多年中幾乎沒有中斷過，逐步形成了“九邊”分區防守、分段管理和修築長城的制度。明代的長城，亦稱邊牆，東起鴨綠江、西至嘉峪關，全長6700多公里，是現存歷代長城遺跡中最完整、最堅固、最雄偉的實物。

“九邊重鎮”是明王朝為了便於對長城全線的管理和修築而逐次建立的。“九邊”中有兩邊在山西，即“大同邊”和“太原邊”。

“大同邊”，總兵駐地在今大同市，管轄的長城東起鎮口台(今天鎮縣東北)，西至鴉角山(今偏關縣東北)，全長540多公里，分偏關段、平魯段、右玉段、左雲段、大同市段、陽高段、天鎮段等七段。現存約450多公里，大多是土牆，少數為磚、石牆，七段邊牆殘存平均高度為2.1～4米，寬為1～2.7米不等。

“太原邊”亦稱山西鎮，總兵駐地在今偏關縣東北，管轄的長城西起保德縣黃河岸邊，經河曲、偏關、老營堡、寧武、雁門關、平型關、龍泉關、固關而達黃榆關、黃澤關，再到壺關，總長7500多公里，因其在大同、宣府兩鎮長城之內，所以又稱為內長城。這一鎮的長城分偏(關)代(縣)段、山陰段、應縣段、渾(源)繁(峙)靈丘段、茨(溝營)黃(澤關)壺關段等五段，尚存350多公里。五段邊牆殘存高度1.1～2.3米，寬0.7～1.2米，有土牆、磚牆、石牆。茨黃壺關段的長城利用了太行山多懸崖峭壁的特點，只在冀、晉兩省往來的山
口、嶺口、垣梁等重要交通要道上修築長城，設立關堡，大多用片石築成。代縣白草口一段長城，東依雁門雄關，西瞰寧武舊城，長約4700多米，沿山峰而建，全部為磚石結構，城上建有十六座敵樓(台)，其中有五座保存完整，並築有易守難攻的腰門等建築，是山西境內明代長城的代表作。在朔州市還首次發現了明萬曆三年(1575年)修築長城的碑記，它為研究明代長城建築情況提供了重要的依據。

此外，山西境內的漢代長城、南北朝長城、隋唐長城、清代長城，都有不同程度的修建規模、形制和用途，在建築手法上各有其明顯的特點，亦是不可多得的實物資料。