峄山与其他名山最大的区别，是满山的奇石。而且，几乎每一块奇石都有一个美丽的传说，这为峄山增添了丰富的文化内涵。在峄山的宕天梯北边，有一块向西南斜立的石头，形状奇特，上面花纹细密，呈土黄颜色，活像一领僧侣的袈裟。这块石头就是峄山有名的八卦衣石。峄山本是道教名山，为什么这里有佛家的袈裟？传说峄山曾经发生过一场佛道战争，佛家落败，但是有一个叫智远的和尚看上了峄山这个地方，悄悄地留了下来。因为担心道教的人驱逐他，就把袈裟藏起来。后来还是被道教的人发现。但是，他的真诚感动了道教的人，就把他留了下来。道家仙祖感其诚，把他的袈裟点化成色彩斑斓的八卦衣石，显示佛家道家之谊。
在峄山南坡的东路山道上，有一块神奇的豆腐石。石头裂纹有致，很像刚刚划开的一块鲜嫩豆腐。相传峄山脚下有一家远近闻名的豆腐店。乾隆皇帝来峄山游览的时候，听说这家豆腐做得很好，就下旨中午吃这一家的豆腐。但不巧的是，这家豆腐店的女主人走娘家去了，孩子技术不精，做了一锅很难吃的豆腐。乾隆十分气愤，责令罚款千金，并取消店号。主人回来以后赶快重做，并受张果老点化把豆腐摆在山道上。结果，不但豆腐奇香满山，皇上的马队从豆腐上踩过竟然毫无所损。皇上大悦，不禁赞道“峄山神豆腐”。后来，这块豆腐就变成了奇异的豆腐石。
峄山的奇石不胜枚举：醉娥石、童斗石、神雀石、舍身石、妖精石、钟石、鹦鹉石、牛石、船石、鼓石、凤翔石……