南宋嘉泰元年(1201年),分属山阴、会稽两县。元、明、清时,属山阴县。民国元年(1912年),属绍兴县。民国十七年(1928年),改属绍兴县第一区。民国二十一年(1932年),置绳初乡、林头乡、沿江乡。民国二十九年(1940年)9月,改为绳港乡、东合北乡、玉横乡。民国三十五年(1946年)9月,绳港乡改设朱梅镇,东合北乡改设灵芝乡。1950年3月,玉横乡归入齐贤区,灵芝乡、朱梅镇分设灵芝、水利、梅山、朱梅4个乡。1956年3月,4个乡合设梅山乡。1958年,梅山乡并入鉴湖公社。1961年9月,分设灵芝公社、梅山公社。1983年10月,灵芝公社、梅山公社改乡,同年归入越城区。2001年7月,梅山乡、灵芝乡(除北海、西郭、青甸湖3个村外)合并为灵芝镇。2003年1月,齐贤镇七里江等15个村划入灵芝镇。2017年,经浙江省人民政府批准,撤销灵芝镇,设立越城区灵芝街道。