在庫車蘇巴什東西兩岸有一規模相當大的佛寺群，其遺留至今的遺跡有窣堵波、高臺寺、毗河羅窟、小寺及僧房等，始建年代應屬佛教傳入新疆的早期。其中，位居東岸山脊佛寺群北端的1號窣堵波院呈塔院式，四周圍牆，中央是形如大缽翻扣在地上的窣堵波，屬較典型的仿印度橫向構圖的覆缽式，應為早期建造。位居東岸山脊中部佛寺群中央，和1號窣堵波寺院大約在一條軸線上的2號窣堵波寺院，四周圍牆，現存西牆內側有一列壁龕，窣堵波居中、高大、基座方形，塔身圓柱形，頂為覆缽狀，造型完美，比例恰當，為新疆窣堵波發展較為成熟的形態，建造年代似在隋、唐時期。