怀玉书院位于怀玉山金刚峰东麓，与玉琊峰相对，为江西上饶古书院之一。宋淳熙十五年（1188），朱熹在草堂讲学，著有《玉山讲义》一卷。陆象山、吕东莱、汪应辰、程珙等均曾在此讲学；王安石、杨亿等留下了诗篇。自此，怀玉书院与当时四大书院齐名。明嘉靖三十六年（1557）江西提学副使王宗沐来县视学时，废法海禅院为怀玉书院，由此怀玉书院之名，再传于世。元、明、清各代均有众多名人来此讲学，留有题咏。明万历九年（1581）张居正当国，禁天下书院；天启四年（1624）宦官魏忠贤进一步飞书院；书院遂尽归于僧。清乾隆七年（1742）重建怀玉书院，赎回田产。后经同治三年（1864）、光绪十六年（1890）两次修葺，书院总面积达1万余平方米，规模宏极一时。民国24年（1935）1月国民党军队“围剿”方志敏率领的工农红军时，把书院当做兵营，继而全部烧毁。
怀玉书院遗址为当今怀玉山场、供销社、医院、文化站、十家庄民居所在地。相传原址古甜储树南边底下，埋有古代寺僧被剿时窖藏的文物。书院遗址尚依稀可辨，泮池淤塞，泮桥已填为公路，传为黑玉雕刻，朱熹手书的“怀玉书院”残额尚存，“泮桥”、“一勺泉”石碑保存完整。位于芳润堂遗址后有一颗朱熹当年手植的梨树，被飓风所折，根旁萌发一枝，今已合抱。