“紫华庵”建于仙女峰峰顶，犹如仙台琼阁一般。首先映入眼帘的是山门，高5米，宽6米，全用料石砌成，面积约35平方米，两拱门成对称式，拱门上镌有双狮抢球图，圆弧正中刻太极图并两卦象，往上是“紫云峰”楷书石匾，再上有二龙戏珠石雕，樯脊再以鱼尾为翘，脊中镇“佛”印一枚，门旁有一水井，终年不涸。过山门即是紫华庵，由三小殿组成，第一殿砖木结构，再循三十七级石阶至第二殿，有石砌平台，平台上有一石雕龙柱，栩栩如生。再上三级台阶为第三殿，亦是料石建成，殿前石柱均用抱鼓石支撑，殿内供九天玄女塑像，三殿彼此呼应，在建筑上极其美观，加之四周林木茂盛，腊梅遍地，映衬得刹宇更加峋丽夺目。1951年、1965年，殿宇两次遭到严重破坏，三殿倾垮，唯山门保存完好。1996年，当地群众捐款鸠工庀材，在顶峰重修新宇：用料石砌4～5米高护墙以扩大地基面积，用钢筋混凝土结构以御山风，用12根立柱组成围廊以供游人眺目，用黄色琉璃歇山屋顶以示殿宇的庄严，从而比昔日更显辉煌；若在晴日，方圆几十里均可见到殿宇。
据该庵主持二休介绍，1995年重修紫华庵，将水井改建成摇井时，从井底发掘出唐碑一方，约1.5平方尺，碑文大意是：唐贞观二年，有一老者在油草塘见九位女子在池塘洗澡，急呼男子迅而视之，九女化鹤飞往此峰。人们便称之仙女峰，并在峰顶修茅庵。可惜该碑被无知村民砸碎做了混凝土材料，不过从现存庵碑中亦可证实这一典故：“自唐世间，有九仙女化鹤飞身，瑞映此峰，兴发乾隆，考有始祖瑞明，于顺治癸已年间（1653年）创修殿宇，上下三栋”。乾隆二十九年（1764）山门佛碑记载：“尝闻仙女名山，古今可观，人皆仰望，丰乐第一境也”。同治安化县志载：“每年善男信女，富豪公子，游山进香者甚多，亦成为当地重九登高名山”。从这些记述中，紫华庵的历史可见一斑。为保护这一胜迹，涟源市政府1989年将其列为县级保护单位，确定周围20米为保护范围。