台儿庄运河在明万历年间修通后，台儿庄遂成南北漕运咽喉要塞，于是“商贾辐辏”，其中不少是外来的回教徒。为有一个礼拜之处，他们便在台儿庄城东门里修建了一座小型的清真寺。清朝初年，漕运的繁荣带来了台儿庄的兴盛，“商旅所萃，居民饶给，村镇之大，甲于一邑，俗称天下第一庄”，在台儿庄定居的回族客商越来越多，原来的清真寺已不能满足其朝拜之需要。时至清乾隆年间，阿訇李中和倡议重修清真寺，以发扬光大伊斯兰教。据寺前石碑记载：“李中和抛却浮屠，纯讲救理。南走蜀闽，北走豫燕，蓄款数年，功成一旦。”重修后的台儿庄清真寺，位于台城大北门内的郁记花园旧址，占地38亩。台儿庄清真寺寺院前大门向东，过厅5间，南北讲堂各5间，东西小讲堂各3间，西水房3间，大殿25间。后大门向西，门楼两旁有大理石紫花石鼓一对，光彩照人。院内苍松翠柏，花草葳蕤，清雅宜人。清朝末年，又将南讲堂改建成大门楼，大门改为面南，“清真古寺”的门额也换成了“回教堂”。据考，清真寺大都大门朝东，朝向伊斯兰圣城耶路撒冷所在的方向，唯有台儿庄清真寺面南。时至民国初年，阿訇陈性真和乡老马振堂先后2次募款修缮，古寺楼堂玉宇，颇为壮观，蜚声鲁南苏北，礼拜教民纷至沓来，一时门庭若市。
然而，兵燹之灾却将它毁于一旦。1938年春，中日台儿庄大战爆发。台儿庄清真寺建筑高大坚固，而且偏据北城，距火线最近，我守军186团将指挥所设置于此，遂为中日双方争夺的焦点。历经七天七夜的拉锯争夺，台儿庄清真寺沦为焦土，断壁残垣上的尸山血河，凝固成极为惨烈的悲壮画卷。四株古柏，有两株化为灰烬。幸存的两株也烧损过半，其中西侧那株主枝缺损，干枯龟裂，煎熬60多年之后死亡，于今只成枯干，依旧傲然立于堂前。另一株虽弹痕斑驳，却顽强生长，依然枝繁叶茂。西小讲堂弹痕累累，其弹痕特别密集的80平方厘米之砖墙，已于1988年10月被中国革命历史博物馆移去陈列。
台儿庄大战后，乡老马振堂向台儿庄十几家粮行募捐，于1942年重修了台儿庄清真寺。除恢复原建筑外，又新建了一座高28米的望月楼。望月楼瓷砖绿瓦，翘檐走廊，四面展角，雕梁画栋，好不气派，为当时台儿庄最高建筑物。但是，这些建筑在“文革”十年中惨遭浩劫，复又陷于破败窘境之中。
党的十一届三中全会后，党的民族宗教政策如雨后春风，让清真古寺再度焕发了青春。1983年，区政府斥资5万元，回族群众捐资3.5万元，按原样重修台儿庄清真寺大殿。该殿建筑面积120平方米，琉瓦红墙，金碧辉煌，具有鲜明的民族色彩。此后，区政府又拨款修建了院墙和水房、门楼以及门外场地，原来的“回教堂”又换成了“清真古寺”门额。重修望月楼，耗资50万，
2006年大功告成。重建的望月楼为7层建筑共28米高，巍峨耸立的飞檐走壁，为古色古香的台儿庄清真寺平添几分清幽壮丽。与此同时，在城区南部也修复了古有的清真南寺。方便了伊斯兰教众的宗教生活。
在台儿庄清真寺重建、修建、改建的一系列工程中，台儿庄区始终注重保存当年台儿庄大战的风物见证，那斑斑驳驳的墙壁及其密实的弹洞，半枯半荣的古柏及其躯干内残存的弹头，每天都在无言地吟诵着当年惨烈的慷慨悲歌，向世人昭示着中华民族威武不屈的精神和侵略者失败的必定结局。