該清真大寺位於呼和浩特市舊城。呼和浩特曾有八座清真寺，其中以清真大寺年代最久，規模最大。

清真大寺確切的建造年代不詳，寺內現存最早的石碑是清康熙三十三年(1694年)豎立的，據《清真寺南北講堂碑記》記載：“今古豐歸化日有清真寺一座，自我大清定鼎以來，建立多年……。”可見，在清康熙三十二年前已經建成，當時十分簡陋，僅有狹小的禮拜堂和沐浴房。清乾隆五十四年(1789年)擴建了大殿，增設南、北講堂和過廳。1923年，又擴建了大殿和講堂，1939年在寺內蓋起望月樓，形成現在的規模，占地約4 000 平方米。

清真大寺坐東面西，由正門、大殿、南北講堂、過廳、望月樓和沐浴房等組成。寺門前原有影壁，早已拆除。正門面闊三間，朱紅色大門，南、北兩側各有側門，兩側門的外側對稱施八字影壁，正門上楣有“清真寺”匾額一塊，為清光緒十六年(1890年)懸設，兩側有“國泰”、“民安”四個字。進入正門是大殿的後壁，壁上有當時的綏遠都統馬福祥書寫的經義真言。大殿南側設有碑廊，存碑六通。

大殿是一面闊五間的殿堂式建築，屋頂由四個勾連搭組合而成，並在頂上加建五個亭式建築，在最前卷棚頂上有兩個六角攢尖式亭子分列左右，後面三屋頂上沿中軸線分別修築一座八角亭，以第三殿頂上之亭最高峻。諸亭形制相似，只是大小高低及細部做法有微小差別。

寺內裝飾基本按照伊斯蘭教義規定，使用阿拉伯文字、幾何紋和植物紋，把外來形式自然融入本民族的地方風格中。該殿另一值得注意之處是殿的正面用磚砌出的三個券門洞及條狀形女兒牆裝飾，顯然是受到“西洋”建築風格的影響。

大殿前兩側建有南、北講經堂。大殿正東有過廳，經過廳可通往後院，院內正北有沐浴室。

望月樓在過廳南側，高30.3米，平面六邊形，下部四層為青磚砌築，最上為一六角木構單簷攢尖亭，在三層、五層四周挑出平臺欄杆，樓內有旋轉梯道七十七級可以登臨。樓的西面用漢文和阿拉伯文書有“望月樓”三字，樓頂鐵柱上裝有月牙燈。望月樓拔地淩空，秀出雲表，為呼和浩特新八景之一。