明正德六年（1511）王阳明自龙场谪归，道过辰州，喜人士朴茂，寓龙兴讲寺弥月，与武陵蒋信字道林者往来讲论，题咏山水。进士唐愈贤从游，得闻致良知之学，士人兴起。嘉靖二十三年（1544），阳明门人辰州郡丞徐珊与邑宪副王世隆建虎溪精舍。祠内石刻文成公像，横额书公绝句。隆庆中郡守徐延绶增置学舍。崇祯初，守道樊良枢拓舍宇，更名阳明书院。
明末兵燹废。清康熙四十五年（1706）郡守迟瑞构数楹故址。雍正四年（1726）郡丞黄澍复修。十一年，沅陵知县赵念增在其中设义塾，改为虎溪书院。后屡经修葺拓新为教学之所。民国时期，常年驻兵，房舍逐年颓毁。新中国建立后，1956年定为湖南省重点文物保护单位。后因长久失修而撤销。1986年国家文物局资助，县财政拨款，在原址仿原式建砖木结构房舍一栋，辟为县博物馆陈列室。