文殊寺位于鲁山县西南部的四棵树乡平沟村，由于该寺建在海拔１１１２米高的俺窟沱山，又名“俺窟沱寺”。据清道光二十五年《重修文殊庵俺窟沱寺》碑记所载：“鲁邑西南偏山坳之间，旧有文殊庵俺窟沱寺，白云为藩，青嶂为屏，绿竹映阶，银杏封宇，即古之丹邱殊林无以过之。”
据传，唐武宗会昌元年，即公元841年，日本高僧慧萼带着他在五台山敬请的一尊观世音菩萨像，乘船回国，当船行至浙江普陀山东南新罗礁时，被水面上突然出现的数百朵铁莲花围着，慧萼领悟，是观世音菩萨不肯离开中国到日本，立即祈祷应允：建“不肯去观音院”，铁莲花迎面退去。慧萼带观音菩萨像，途经石人山，曾在文殊寺小憩。后人为纪念不肯去观音，建庵普陀寺即今日文殊寺。寺中五株千年古老银杏树，枝繁叶茂，人称活化石。
浓阴庇护下的文殊寺，占地十余亩，据寺内现存的两块石刻《碑记》所载，该寺建于元至正四年（公元１３４４年），迄今已有６００多年历史。其间，曾历经明成化元年（公元１４６５年）、弘治丁巳年（公元１４９８年）、万历辛卯年（公元１５９１年）及清乾隆三十四年（公元１７６９年）等数次大修，可见当时规模之大，香火之旺。
文殊寺坐落于白云深处，四周群峰竞秀，寺前一泓碧水长流，茂林修竹环绕，飞瀑流泉相伴，集雄险奇秀于一体，聚幽雅清新为一身，是石人山风景区的重要组成部分。该寺由正殿、过殿、偏殿组成，传说文殊圣母授徒释迦牟尼、弥勒、达摩于此并福荫当地而得名，香火盛极一时。但真正使文殊寺闻名遐迩的，却是寺内的５棵参天古银杏。
银杏又名白果、公孙树，雌雄异株，生命力极强，有生物界“活化石”之称。文殊寺的银杏树系三雌两雄，树龄约在千年以上，树高均在２５—４０米之间，它们各个枝干挺拔，绿叶婆娑，如撑开巨大的绿伞，罩下满地浓荫。雪压枝头，一片玉树琼花，为古朴的寺庙增添了一线风景。之后，又伴随寺中的观世音度过千年悲喜交加的时光，长成拨地参天的身姿。这几棵大树，最低者35米。其中，最大的一棵树冠高达43米，胸围6.85米，需几个人手拉手方可环抱，这已经叫人称奇了，然而尤其让人惊奇的是，胸部有一10厘米的洞口，透过它能清楚地看到树干内被锯掉过一块长1.7、宽0.8米木板的空隙，下部留有用手掰掉过的锯茬仍历历在目。一棵囫囵树干，中间怎能取出一块大木板呢？据说，这是鲁班的神功所为。而最小的一棵，树围也在５米以上。整个银杏群虬枝盘错，枝叶相连，郁郁葱葱，遮天蔽日，整日云横雾罩，蔚为壮观。