小桃園清真寺坐落在上海南市區小桃園街，始建於1917年，因其位於上海老城區的西部，初名清真西寺，後改名為小桃園清真寺。該寺是由上海穆斯林所捐的私家園林住宅改建而成，占地面積約1480平方米。1925年向國內外穆斯林募款翻建舊寺，兩年後新寺落成。

新寺受西洋建築的影響，採用了新結構技術和鋼筋混凝土等建築材料。同時，因老城內地價昂貴，新寺各單體建築均為樓房，以擴大使用面積。

寺由門樓、禮拜殿、辦公樓、沐浴樓、宿舍樓等組成。

門樓毗連辦公樓，上下三層。底層券門上書有阿拉伯文一行；二、三層間的牆面上書有“清真寺”三個金光閃閃的楷體大字，字體剛勁有力；三層樓額標有“1343”字樣，說明了新寺的翻建年份(伊斯蘭教曆)。門樓立面為古羅馬券柱式結構的變體，其底層有券無柱，二、三層有柱無券，整體風格顯得簡潔明快，富有個性和時代氣息。

禮拜殿是新寺內的主樓，坐西朝東，鋼筋混凝土結構，建築面積約500平方米，上下兩層，平面正方形。大樓正面採用西式發券及柱式，門窗模仿西式古典式樣。殿內指示朝拜方向的壁龕通達上下兩層，底層及二層均作禮拜殿，可同時進行朝拜活動。禮拜殿的室內裝修尤其是壁龕四周的裝修樸素無華，底層大殿的頂部用二十五塊乳白色的方石板嵌砌，每塊石板下懸掛吊燈。由於當時採用了先進的大跨結構技術，二層大殿正中上方的拱頂直徑達三間之廣，拱頂上部設有一個巨大的採光口，使室內充滿了柔和的自然光。禮拜殿的屋頂為一平臺，正中突出平臺的大殿拱頂上建有一座方形盔頂望月亭，亭尖上高高地豎著星月杆。平臺四隅有四個拱頂建築。

辦公樓是一幢傳統形式的三層樓房，位於禮拜殿東側，主要用於藏書、會客、研習教義或講經授課，內部的裝飾及傢俱古色古香，保持著濃厚的中國傳統文化氣息。

沐浴樓在禮拜殿西南側，也是一幢三層建築，鋼筋混凝土結構。