据《缙云县地名志》记载，以原胡村、桃源二乡各取一字而得名。

　　乡政府驻地“方溪村”，且有一条“方溪”溪涧由东向西横贯，故名。

　　乡人民政府驻地“石笕村”，且村中溪涧河底岩石形状似笕，故名。

　　唐武德四年(621)析永康县始设缙云县，因缙云山（仙都山）为名；据王尔鉴《缙岭云霞》序：缙云山九峰争秀，色赤如霞，古人以赤多白少为缙，故名。