黑山頭建築遺址位於石碑地西2公里處，是岸邊突起的海岬，因岬岸裸露，顏色與黑色的山石接近，俗稱黑山頭。在南100余米的海面上，聳立著兩塊東、西對峙的礁石，間距40余米，稱為龍門石。黑山頭頂部平坦，南北長近100米，東西寬60余米。臨海的南端略高，佇立山頭，遠眺海中“薑女”礁石，景色秀麗。

該遺址的文化堆積遭到較大破壞，露於現地表的建築址上有成排的礎石、陶井窖、空心磚、水管溝和大面積瓦礫、紅燒土等。經清理，建築佈局基本清楚。主體建築位於山頭南側，建築基礎為一長方形夯土台基，現存遺址東西長45米，南北寬25米，遺址堆積存高1米餘，夯築土台堅實，多為黑黃粘土。

從已清理出來的跡象看，主體建築為結構複雜的多層分級建築，大體可認為是三級臺階式建築。地面露出一些縱橫交錯的黃土夯帶，寬約70釐米，很像牆基。整個建築的特點是依地勢而建，佈局協調，錯落有致。主體建築大致分為三組十個單元，北部東側為第一組四個單元，西側為第二組三個單元，南部為第三組三個單元。

第一組建築除有黃土牆基、礎石、紅燒土外，主要是第三單元北半部有一口井式窖穴，系用大型陶井圈接成，口徑1.1米，深1.6米，窖的底部修築在基岩之上。窖內自上而下依次為：黃粘土、紅燒土、碎瓦等堆積層，厚約60釐米；細砂層，厚90釐米；淤泥層，厚6釐米。陶井圈每節高30釐米，厚3釐米，外面拍印繩紋，裏面飾窩點紋。

第二組建築呈長方形，惟東南角缺損，東西長20米，南北寬12米。東、西兩邊有牆基，北邊有一道1.5米寬的夯土帶，南邊有一行九個礎石和三塊空心磚。中間兩道南北向牆基將第二組建築間隔成三個單元。每個單元的南部有三個礎石和一塊大型空心磚，北半部有一“土”形牆基，牆寬0.9米，將北半部分隔成四個小室。各小室均有豁口相通，東南角的小室內都有一口井式窖。第五單元的井式窖上部壓蓋瓦片。第六單元的空心磚和第七單元的空心磚都處於兩個礎石之間，似與踏步有關。第二組建築的地表到處是黃粘土和碎瓦，這類黃粘土可能是用於固定瓦的。第七單元西牆基外側地勢坡下，覆蓋著大面積碎瓦。

第一、二兩組建築之間有一道2.5米寬的雜花黃土，當是通道。

第三組建築現存中心在第八單元，長方形，南北長6.7米，東西寬3.7米，東、北、西三面無牆跡，但邊線明顯，內為黃粘土，週邊是台基夯土，東北角作圓形向外突出。南牆中部有一水管溝。在第八單元的東側和西側皆是黑色夯土，厚達0.5米，應是台基部分。

台基的北部邊緣有一條較寬的夯土帶，寬1.1～1.5米，東西長45米。中部在距地表32釐米以下發現六個柱礎石，分三組兩兩成對分佈，推測這條夯土帶應是走廊遺跡，由此又可推測這處多級高臺建築採用回廊式，沿海的東、南、西三面均有回廊。