該清真寺位於太原市解放南路東側，創建年代不詳，現清真寺為元末明初建築，清代曾重修，現存面積2800平方米。

寺坐西朝東，前有五檁牌樓一座，橫匾書寫“清真古寺”四個金黃色大字，系清順治二年(1645年)太原知府王覺民的手跡。此門原是寺的便門，而1958年前的大門在東米市牛肉巷內(今為清真寺的後門)，門額上也有挺拔有力的“清真古寺”四個金字，為清乾隆年間回族人李桂芳所書。

進院後中心建築為省心樓，樓平面為方形，下有台基，四周圍有廊柱，重簷歇山頂，上簷雙昂斗栱，每面補間斗栱四朵，下簷單昂斗栱，每面補間斗栱五朵，簷角如飛，結構壯觀，色彩熠熠。

樓南北兩側各立有六角攢尖頂碑亭一座，南亭石碑為清同治七年(1868年)所立，北亭石碑系清康熙三十三年(1694年)所立，上均刻有贊文、詔諭，亭兩旁各有配庭五楹。

院後是講經堂，面闊三間，卷棚歇山頂，後部開五間廊。穿過講經堂，對面便是古樸的禮拜大殿。大殿面闊五間，進深四間，殿頂由硬山頂和卷棚頂相連組成，施布筒瓦。大殿前有廊，廊柱間下設木欄杆，上飾垂花柱吊楣。大殿內為阿拉伯式木構建築風格，外不見木，內不見磚。殿內後牆前北側有一木制宣講樓，造型別具一格。殿四周築有封火牆，凡拱門、圓柱均瀝粉貼金彩繪，富麗堂皇。窯殿凹壁處鐫刻有貼金的阿拉伯文《古蘭經》，雕工極為精細，觀之令人嘆服。

禮拜大殿西側原有清真寺最高的建築物——望月樓，平面呈六角形，1958年被拆除。

寺內現有明、清兩代匾額多塊，多出自名家之手。