五女山山城位於桓仁滿族自治縣桓仁鎮東北7公里的五女山頂部，平面呈長方形，東低西高。山城依山勢高低用石塊分段砌築而成，大部分利用原來的自然陡崖代替城牆的功能。

城以東南角為中心，東壁全長750米，其中只有130米長的幾段是人工牆，現在人工砌築部分大部已塌毀，僅存基礎，惟東牆的南段保存較好，城牆斷面呈梯形，外高6～8米，內高1～2米，頂寬約3米，外層全部用楔形石砌築，內層以亂碴石混合砌成。東牆北段有陡峭的山崖，因而只用石塊補砌了比較平緩的幾段缺口。從東南角向北105米處有一門。城的西南部為峭壁。從現存豁口分析，城有三門，在東北緩坡處還有幾座人工砌成的石垛。在山頂上有一清代修建的玉泉觀，觀西側有一人工修砌的水池，俗稱天池，據石料分析應是建城同時期的遺跡。山城東南角高峰上有一天然巨石，人稱點將台。在山城內發現有高句麗時期陶器的殘片，並發現了遼、金時期的陶瓷片，可見此城在遼、金時期曾沿用過。

在五女山山城的周邊發現了一系列山城，如北面的黑溝山城、南面的和平山城、東面的旮子山城、東南的北溝山城等，這明顯地暗示出五女山山城的重要性非同一般。