南关清真寺建于民国二十三年(公元1934年)，经马步芳亲自批准动工修建，当时寺院占地面积800平方米。据传1934年南关地区人烟稀少，大约百分之八十的土地都是菜地，居住在附近的回族群众有18户人家，老人们每天做礼拜要前往东关清真大寺，困难较大，很不方便。为此当地回族群众集资部分钱，从农民刘寡妇手中买来土地一块，修建土木结构的西房三间，作为礼拜大殿，北房三间为学生房并请买成章阿訇任教。后来此地居住人家逐年增多，礼拜人数随之增加，原大殿和学房容纳不下，由苏启录、马福成、巴家阿爷、杨生春联名倡议并向马步芳上 书--，要求在南关地区修一清真寺，由于信教群众的迫切要求，促使马步芳答应在此地修建寺院。当时修建大殿一座五间，北房五间，西房二间，东房三间，水塘三间，各项建筑落成后，由买成章阿訇继续任教，三年后又请甘肃河州阿訇任教，以后由张巴、果园家、马玉德阿訇、湟中鲁沙尔阿訇马明春先后任教。民国三十七年末（1948年），因马步芳进行裁减阿訇、满拉，所以马明春辞学回鲁沙尔。寺院请索麻尼阿訇任教三年。马生林继任三个月后由冶顺祯阿訇任教至1958年宗教改革。
宗教改革后，1958年至1960年，寺院由西宁市刺绣厂占用。1961年至1979年间，又由城东区南小街小学所占用。1979年党的十一届三中全会落实民族宗教政策时南小街小学所占用的房屋归还给寺院。本方信教群众集资二十万元（其中有本寺三万七千三百元）经城东区宗教部门批准，对南关清真寺进行扩建。
寺内建造砖混结构礼拜大殿五间，面积为108平方米，建二层砖混结构东房八间，二层北房十四间，二层西房十二间，水塘七间，高约十五米的唤醒楼一座。该寺附近居住的信教群众1600余户。清真寺有卧各夫房屋一百四十三间，全部出租，租金全部用于养寺经费。
延伸阅读：