商丘古城有著悠久的歷史，早在四千多年前，帝嚳之子閼伯就受封於此，現城西南1公里處尚存有紀念建築——閼伯台。帝嚳的另一子契，因輔佐禹治水有功也受封於此，為商民族的始祖。商滅夏，建立商王朝，都城位於今商丘城南數裏的南亳。周滅商以後，周武王封商之遺民微子啟於商丘，稱宋國，都城位於現商丘城南1公里處。秦統一後置睢陽縣於商丘，屬碭郡。漢高帝五年(西元前202年)封劉武為梁王，都邑睢陽(今商丘)。隋朝改睢陽為宋州，此地為州府所在。唐代改宋州為睢陽郡。北宋改睢陽為南京應天府，是東京汴梁的陪都。元代改為歸德府，明嘉靖二十四年(1545年)改為商丘縣。

歸德府城即今商丘縣城，建於明弘治十六年(1503年)至正德六年(1511年)間。城廓大致呈方形，四面城牆基本為直線，周長3.5公里，牆體素土夯實，外鑲大青磚。城牆高7米，上寬7米，下寬10米。城牆四面辟出馬面九座，四角存敵樓台基。城牆四面辟石拱券門洞五個(東、南、北各一門，西辟兩門)，門洞上原建有門樓，現存的北城門樓為近年新建。今古城內基本上還保留著原街道格局和風貌。東、西、南、北四條大街，直通東、西、南、北四門，街道兩旁保留著青磚灰瓦的傳統建築。城外有護城河環繞，使這座古城顯得更加宏偉秀麗。