甘泉书院又名甘泉精舍、紫云书院、衡岳书堂。在紫云峰下，其地泉涧曲折、奇石峭立，人称“衡岳最胜处”。明嘉靖二十三年（1544），湛若水（号甘泉）应蒋信之请，偕门人骆光知、周荣朱、黄云淡等讲学衡山，过此叹言：“钟秀之区，无过如此，不可以终吾老乎？”因建书院，有讲堂5间、寝室3间、大门1间、二门3间，又辟甘泉坐石、端默石、甘泉洞、甘泉上洞诸景。其上另建白沙书院，以祀其师陈献章。当时，他曾作《卜筑诗》一首云：
遥遥起天柱，巍巍南台下。于兹结云松，以卜我精舍。
芳邻接五峰，神明见中夜。诸子来端居，无玩亦无舍。
在这里，甘泉老人与衡阳县学者杨浩、曹凤朝等集当地众多学人，讲学数月才动身回粤。蒋信为作记，力倡“勿忘勿助”，以求“心之本体”之说。湛后以事去，置田22亩，请道士蒋明昶守院。多年后，嘉靖三十六年（1557），湛已91岁高龄，他又一次游赏南岳，并踵临南岳祝融峰之巅。这次赴湘之行，主要是重修13年前他首次登临南岳时所建的紫云书院。他在《重修南甘泉书院记》中说：“嘉靖甲辰（1544）之冬，甘泉子积四十年之念，登南岳于天柱之峰，南台之下得废地一方，于紫云之洞……乃图心性之堂，以为讲地，乃立息存之堂以为寝室，乃肇先师之祠以系景仰，不六旬而成，今十三年，乃见书院将废矣！”时人见其皓首童颜，思路明晰，步履轻捷，莫不惊为神仙下凡……湛重修书院，“与衡士讲学其中”，并作记以记其事。清代尝有修葺，并改名“紫云”，增辟甘泉亭，刊立湛若水刻石画像、《心箴图说》碑等。清末停办。
民国二十四年（1935），岳云中学第6任校长何炳麟决定在南岳的甘泉书院、文定书院故址上建筑校舍。至今，“紫云书院”石额则嵌岳云中学科学楼。现甘泉书院仅存甘泉园。甘泉园内有紫云楼，两层，青砖灰瓦悬山式，现为岳云中学校友会会址。紫云楼侧建有甘泉亭，六角飞檐，丹柱碧瓦。内置湛甘泉门人詹镰所作湛甘泉石像及《心性图说》碑石。整个甘泉园，环境优雅，树木竹林，长年绿荫，山间石径，曲折通幽，四季花草飘香，宁静深邃。该校创办以来，桃李满园，人才辈出。著名革命家何叔衡、徐特立曾在该校执教。毛泽东夫人杨开慧烈士、著名文学家丁玲、著名音乐家贺绿汀以及名将邓华、张经武都曾在该校读书。而校长何炳麟献出家产办学，任该校校长50余年，成绩卓然。他毕生致力于教育事业的崇高精神，与甘泉老人倾心教育、魂系杏坛正是一脉相传！