該城隍廟位於榆次市舊城東大街，始建於元至正二十二年(1362年)，為元代達魯花赤帖木耳籌建，當時已具有相當規模。該廟佈局嚴謹對稱，中軸線上由南向北對稱佈置著山門(門屋)、玄鑒樓、大殿、後殿，左右廊廡、配殿。

山門為廟的總入口，面臨東大街。山門前有一座三開間的照壁，俗稱空心照壁，照壁左右各有一座三間五樓的木牌坊，照壁、牌坊現已不存。山門後東側設鐘樓，西側為鼓樓。

進山門後就是玄鑒樓，建於明弘治十年(1497年)，面闊七間，進深六間，脊高18米，重簷歇山三滴水琉璃瓦屋頂，一層腰簷平座，上簷斗栱六鋪作，出挑深遠。明正德十年(1515年)在玄鑒樓北面接建樂樓，由北端尾面延伸而構成一層樓閣式戲臺及其底層戲臺，成為帶樂樓式的玄鑒樓。清代還在玄鑒樓的北側增建了一座三開間的小戲台。

大殿位於玄鑒樓北側，始建于明成化十二年(1476年)，面闊五間，進深四間，單簷歇山琉璃屋面，梁架用料粗大，斗栱五鋪作單抄單昂，出挑深遠。清代在殿南側加接卷棚頂抱廈，與玄鑒樓戲臺相對。玄鑒樓和大殿兩側接有十四間廊廡。

大殿再往北是寢殿，兩側是三開間的東西配殿。

榆次城隍廟是我國古代建築群體的一個典範，體現了我國古代佈置建築群體的慣用手法——廊院制。在庭院空間佈局方面，榆次城隍廟採用了一種傳統的處理手法：主建築前設大庭院，以此突出主題；其餘均是一系列較小的庭院，用其反襯主題。