西塞山在湖州西郊10公里许的弁南乡樊漾湖(即凡常湖)溪湾。明万历《湖州府志》：“西塞山在湖州城西二十五里，有桃花坞，下有凡常湖，唐张志和游钓于此。”清雍正《浙江通志》：“吴兴南门二十余里，下菰青山之间一带远山为西塞山。山明水秀，真是绝境。其谓之西塞者，下菰城为(楚春申君)屯兵之处，坐西向东故也。”
西塞山因中唐隐逸诗人张志和(730—810)写有《渔父》词：“西塞山前白鹭飞，桃花流水鳜鱼肥。青箬笠，绿蓑衣，斜风细雨不须归”而闻名于世。张志和，号玄真子。肃宗时，官待诏翰林，才高志洁，不谐于时，后坐罪南浦尉。赦还，乃泛游江湖，号烟波钓徒。颜真卿(唐大历时湖州刺史)的《浪迹先生玄真子张志和碑铭》载：“大历九年秋九月，谒真卿于湖州……真卿以舴既敝，请命更之。”答曰：“倘惠渔舟，愿以浮家泛宅沿朔江湖之上，往来苕霅之间，野夫之幸矣。”
张志和在湖州时，与当时同在湖州的竟陵子陆羽、校书郎裴修、前御史李萼、诗僧皎然、颜真卿都有交往，且日夕驾舴艋舟徜徉于景色清幽的苕霅两溪、西塞山一带，并以真情实感写出了被誉为千古绝唱的《渔父》词。《渔父》词共五首，其中至少有三首描写了湖州山水风光。五首中又第一首最负盛名，和者如林。日本平安朝嵯峨天皇于弘仁十四年(823)写了五首奉和词。皇女内亲智子、名儒滋野真主也有两首词奉和。日本又把张继的《枫桥夜泊》、张志和的《渔父》列入教科书。《新唐书·隐逸传》：“玄真子姓张，名志和，鲁国公颜真卿与之友善，真卿为湖州刺史，与门客会饮乃唱和为《渔父》词，其首唱即志和之词，真卿与陆鸿渐、徐士衡、李成矩共唱和二十五首，递相夸尚。”山以诗传，西塞山也因而成为湖州胜景。明万历时，“西塞渔晚”被列为吴兴八景之一。
西塞山还有严震直墓。严震直，乌程人，明洪武二十六年(1393)任工部尚书。卒后葬故土西塞山。清徐凤衔《乌程县志》：“旧郡志谓尚书严震直墓在西塞山，尚书自号西塞翁，殁葬其处，其山正在城西。”民间称其处为严墓、严家坟，尚书坟山。坟山前，即樊漾湖，东二里许，为桃花坞。南宋毗陵(今常州)太守，著名山水画家李结(次山)，也曾卜居西塞山，作《西塞渔社图卷》，并请挚友范成大，周必大等题跋。范成大于淳熙十二年(1185)题了290余字的长跋，中有“候桃花水生，扁舟西塞，烦主人买鱼沽酒，倚棹歌之”等语。此题跋曾归国画大师张大干收藏，原件现在美国纽约。