据史料记载，乐安建县于南宋绍兴十九年（公元1149年），由崇仁、永丰两县柝地而置，以乐安乡名县，驻地鳌溪镇。相传早在北宋乾道三年（公元997年），有詹姓人氏迁居于鳌溪镇，此地原仅有数户钟姓人氏居住。詹姓人氏在四面环绕的群山中发现一块长满芦苇、较为平坦的盆地，视为风水宝地，遂大举迁徙于此繁衍生息，逐渐取代了钟氏。称此地为詹墟，因河中有一块巨石，酷似鳌鱼，故称鳌溪。
据《乐安民国风云》一书介绍：到民国，县城鳌溪镇形成了游、何、元、詹为主四大姓氏，辅之乐、陈、胡、李、邹、黄六姓氏的格局，这10姓人口占县城总人数的90%以上。
这些姓氏以宗祠为中心，形成固定的居住区域，如詹氏在芜塘巷四周；游氏环绕宝塔巷，居于小南门和南门巷；元氏大都居住在北门和东门巷；何氏居民主要居住在西门巷。
民国时期，县城主要街道为东门口至衙前巷，全长约3华里，街道中心铺长条砂岗岩石，沿街有店铺一百来户，多数为“前店后房”结构。衙前巷是该县唯一保存比较完整的砂岗岩条石路的街巷，芜塘巷的司马第由三座门门坊穿插，显示了詹氏家族不凡的气度和人文底蕴。清末民初，乐安游氏富甲一方，经营传承数代人的“游泰顺”商号是县城最大的商号，其在省城南昌有三家分号，乐安周边乡镇还设立了分店和毛边纸作坊17处，穿过游氏总门，可看见这两处宗祠建筑。
“游氏大祠”始建于明代，清代维修过，周恩来同志曾在此居住。1932年8月17日，红一方面军攻克乐安城，当天晚上，苏区中央局在周恩来住地“游氏大祠”召开县城商人会议，宣传党的工商业政策，为中央苏区做出了样板。次日，红一军团指战员开赴宜黄，乘胜攻克了宜黄城。
乐安县城还有大元巷的“毛泽东同志旧居”，在抚州，只有乐安县城有保存完整的两位领袖人物旧居。1932年8月，毛泽东在乐安县城最后一次指挥了中央苏区第四次反“围剿”前期的一次战役——“乐宜战役”。