五轮塔坐落在岳麓山清风峡侧的山腰上，为佛教密宗之塔，由花岗石砌成，塔上镌刻金书梵文，塔高11米，由正方形、圆形、三角形、半圆和圆点5种几何图形构成五级，造型奇特，为中国大陆地区所仅见。其形代表地方、水圆、火三角、风半月、空圆点，意为世界由地水火风空构成，故称“五轮”。
据1932年成嘉森所编《岳麓小志》记载，五轮塔“民国十三年（1924），为赵恒惕主省政府时所建”。1924年出版的吴晦华的《长沙一览》中提及该塔，称“民国十三年，为省政府所建造”。在1934、1936不同版本的《长沙市指南》中也有相同记载。1920—1926年，赵恒惕为湖南军政首领，他意图“联省自治”，于1921年7月发动的“援鄂战争”失败，耗资甚巨，死伤士兵两万多人。因为赵恒惕是一名忠实的密宗信徒，他在岳麓山筑五轮塔很可能是为阵亡将士招魂和超度。
主持修建五轮塔的人，是1922年开始在湖南-的江苏人顾挣缘。中国佛教文化研究所原所长吴立民（1927—2009）曾考证“此塔为恩师顾净缘1924年所建”。在顾净缘所著《宝箧印经释》中提到有一份《五轮塔缘起》。
1927年2月12日，时任国民革命军第八军军长兼湖南省主席的唐生智为纪念北伐战争中的阵亡将士，曾在五轮塔前举行公祭仪式。长沙《大公报》记载了当时这场公祭：
赴祭各机关、团体、民众由灵官渡过河，在河西牌楼口上岸，在岳麓山自卑亭处集合上山。两旁军队站满约众六七千人，塔之周围为民众各团体。礼毕，顾掌法（顾净缘）与僧众绕塔三匝，高宣佛号而出。继总指挥与主陪祭人士，绕塔三匝高呼“先烈精神不死”、“大慈大悲救人救世”……公祭从上午五时开始，到下午直至五时方毕。
自称“佛将”的唐生智给参与公祭的文武官员每人发了一枚“先烈光明”的纪念章，行礼后齐唱“先烈光明歌”，以示永远不要忘却为革命而献身的将士。塔正所额“先烈光明”四大字，应为1927年唐生智所加刻。当时塔两侧有烈士墓，东为阎松年墓，西为杨卓林墓。
塔与墓毁于“文革”时期。2001年五轮塔由香港鸿仪股份有限公司捐资120万元于原址原基修复。