公元505年， 梁都建康道林寺高僧宝志在这里选地建刹，梁武帝赐名山谷寺。公元590 年，中国佛教禅宗第三代祖师僧璨驻锡山谷寺，并在此传衣四祖道信。公元606年， 僧璨宣讲佛经时，合掌立化，葬于寺后。公元745 年，舒州别驾李常取得僧璨遗骨火化，为其舍利塑像建塔。公元758年， 唐肃宗赐名山谷寺为“三祖山谷乾元禅寺”。公元772年，唐代宗赐干塔名“觉寂”，谥僧璨名“鉴智禅师”。 1981年9月， 安徽省人民政府公布觉寂塔为省级重点保护文物。1983年4月， 国务院批准三祖寺为全国汉族地区重点开放寺院。从1987年至1997年，三祖寺先后重建了千佛殿、大雄宝殿等殿宇及配套设施，修缮了藏经楼和觉寂塔，总建筑面积达7000平方米。

　　三祖寺西侧的山谷流泉，还能让你欣赏到历代名人题刻的摩崖石刻。