虎卧寺遗址位于县境西南隅虎卧山。始建于汉代，名曰寿峰寺。此地山峦叠翠，风光秀美，相传后晋时石敬瑭割幽云十六州贿赂契丹，此山遂为辽地。天神不忍腥秽沾辱佛场灵山，特现白额身保护佛法，自此有虎盘踞，此山遂称虎卧山。明代中期，有一名曰德玉之高僧云游至此，观其山风气秀异，决定作锡兹山。他走到虎踞巨石前对虎说道：“我今来此为佛传教造一方福利，你是灵兽要超脱异类，若离开这里，我将劈山铸像卓锡于兹”。言毕，虎纹丝未动。德玉又说，如不离去就把我吃掉，说着往前走了几步，虎仍不予理睬。德玉反身走到山涧小溪，沐浴全身后又来到虎卧石前，对虎说：“我身体已洗干净，现在可以吃了，如果不吃你就走开。”随后老虎摇尾点额，率领众虎远离此山。于是德玉重振山门，更新殿宇，改名“虎卧寺”。
寺院分东西两进院，西院建正佛殿三间供奉如来佛主，净业殿三间，伽蓝室前后围绕，钟、鼓楼立于寺院门前两侧。院落参天古松覆盖，殿宇内焚香烟雾缭绕，山峦间木鱼声声回荡，善男信女拜佛求神者络绎不绝，堪称一代名胜。
虎卧山天然洞穴亦为一奇特景观，寺外东数米有一洞神奇幽远，相传可通往怀安城万圣寺睡佛殿，明代翰林侍讲张士范曾往来于其间，石壁上留有题句。偏南又有一风洞，如将轻薄之物扔入洞中，片刻间即可被风卷出洞外。风洞东侧有神仙洞，为德玉师徒成正果处。迤逦向北有明洞，内置石几石案，为张士范读书之所，再西之冰洞，洞口只容一人缩身而入，洞内可容数十人。水从石缝中渗出，如漏天飞雨，每到三伏盛夏，则凝冻成形状各异冰柱悬挂洞壁，洞底积水成冰严若明镜相映成趣，额为“冰天傲暑”。南折十余米处之洞，洞口被巨石覆盖，隆冬每至黄昏，暖气如蒸直冲天空，似素烟冉冉入星斗，象吹匹练倒悬接地坤，额曰“雪窦回春”。
寺外西南有一方巨石（约20余平方米）从山腰伸出，此乃虎卧之处，名曰“虎卧石”。昔虽虎去，然留虎掌扑痕于石上。
虎卧山胜景吸引历代韵士骚人至此观景咏诗，留下绝妙诗句。自明成化丙申年至清代曾五次修葺并立碣以记。后历经创伤，五十年代初拆东院禅房，1974年拆北、南佛殿。今虽荡然无存，但仍有游者观古松、察卧石、探洞穴、究石碑抚今追古。