被称为“岩居陋室”的祖师洞，是五磊寺著名的名胜古迹之一，位于五磊山牛角峰巅。相传三国吴赤乌年间，印度来华高僧那罗延尊者在此洞中静修。原来有一只粗制石香炉，现已散失，仅存洞口所垒之石块。古人有“穷岩绝壑开新基，牛角峰巅放晚参。催落山泉作钟磬，祖师洞岩云有声”之句，把个祖师洞描绘得有声有色。
祖师洞朝北，须由望海亭旁攀援而上，洞边岩石苍秀，形如城门，口部苔痕浓绿，藤蔓四布，洞底平坦，容人直立；崖顶古树虬枝相互缠绕，其中有一古虬老根，斜抱巨石，凌空险挂，势欲坠却甚牢固，洞左突出一钟崖，敲之嗡嗡声萦绕。当晨雾冉冉升起或霏雨迷漫时，洞前一片乳白色，形成云叠雾、雾绕云的景色，衬上洞旁茂木成林，秀竹摇曳，即成一幅浓墨重彩的丹青。而最精致的，当数洞顶右侧，有数个垒石天窗，每当阳光斜照时，光线如集束金针直射洞口，而洞内水汽在阳光中上浮，形成彩色光环。在皓月当空时，祖师洞和垒石天窗，形成大月套小月，双月迭出，真具有“一轮玉镜当空，四壁苍烟凝露”的风光。
站立洞外平台，徐徐清风伴随着丝丝竹音，在阳光的照耀下，翠盖连绵的象王峰、夏凉峰、笔架峰、天峙峰，峰峰似狮如象，如云似崖。向北眺望，五磊讲寺，金瓦黄墙，鳞次栉比，酷似五峰莲瓣拥花蕊，任人想像。民间传说，五磊寺开山祖师那罗延在洞中结庐静修时，牛角峰牛王和象王峰象王常结伴前来听经，观音菩萨念其真心诚意，分别赠送其紫石竹林一片。今山上满山遍野的石竹据说在其他山上是很难找到的。