鵝湖書院位於鉛山縣鵝湖山的北麓，前臨鵝湖，後有半山寺，左為禪林塔和獅子山，右是鵝湖寺和瀑布泉，為名山勝川中的一處靜深境界。

早在唐大歷年間此地即建有鵝湖寺。南宋淳熙二年(1175年)著名學者呂祖謙為調和朱熹、陸九淵的學術觀點，邀約他們在鵝湖寺舉行哲學辯論會，史稱“鵝湖之會”。後人在此建四賢祠，以資紀念。南宋淳祐十年(1250年)改名文宗書院，明景泰年間擴建後正式命名為鵝湖書院，清代又多次修葺。清康熙五十六年(1717年)，書院又進行了一次歷史上最大規模的維修和擴建，使之成為四周院牆高壘，內有禦書樓、講堂、牌坊等華麗建築的江南庭院式建築群，基本格局一直保持至今。

整個書院有建築五進，回廊曲折。入口保留了明代建築的遺風，大門設於前院兩側，門為拱形，上有坊式門罩。第一進的頭門為面闊五間的硬山式建築，山牆前後端砌屏護簷。穿頭門而入即見一石坊，坊為四柱三間五樓式，仿木結構，斗栱出挑，飛簷翹角，抱鼓護柱，雀替托枋，精工雕刻，氣派非凡。明樓花枋鑲嵌橫匾，文曰“斯文宗主”、“繼往開來”。坊後為泮池，池上單跨拱橋一座，名狀元橋。池周和橋面兩側均有石構護欄，除望柱頭浮雕仰覆蓮瓣外，望柱、欄板、地栿等均為素面，古樸大方。泮池兩側各置碑亭一間、廊廡三間，亭中立歷代碑刻。過狀元橋即入儀門，為第二進，儀門亦五開間，形制與頭門相似。儀門之內為第三進，左、右都為士子讀書的號房，共九十六間，中堂之上懸掛康熙帝親書“窮理居敬”匾額。第四進為四賢祠，亦為五開間，左、右廊廡共十間。第五進為重簷歇山式的禦書樓，左、右平房分別供奉文昌帝君和關聖帝君。此外還有中明辯間三間、中願學堂三間、上正屋三間以及惜字爐等歷代遺物。

整個建築群佈局緊湊，院內石坊高大宏偉。朱紅色的禦書樓前平地空曠，翠柏青松，丹桂香樟，相互映襯得十分雅致幽靜。兩廡廂房排列整齊，樓臺亭閣錯落有致，似一幅素雅古樸而又立意清新的畫卷。