从群仙观上行，便是“老君犁沟”。传说，这里原来没有路，是老子李耳驾青牛用铁犁开的，形如耕地时留下的犁沟，故被称为“老君犁沟”。事实上，山沟是山水长期冲蚀而形成的。
“犁险于幢，幢险而犁突。”这是对老君犁沟的描写。老君犁沟是夹在陡峭石壁之间的一条沟状险道，深不可测，有石阶七百五十多阶。传说太上老君见此处无路可通，就牵来青牛一夜间犁成这条山沟。至今在西侧的崖上仍有石沟，赫然若犁槽。在北峰擦耳崖前有卧牛石，旁边的对联值得品味：“天上本无稼穑事，莫怪闲卧；世上还多不平山，切莫歇鞭”。
当初，人们上下华山便是从犁沟两旁的石窝爬行的，至今人们还可看到犁沟两旁的石窝。当地流传说：“千尺幢，百尺峡，老君犁沟慢慢爬。”这里同千尺幢、百尺峡一样，是登华山的必经险道之一。现在，已在犁沟的右上方，凿成271个石级，两旁铁链下垂，行走较为安全。