据《攸县志》同治版记载,灵龟寺始建于明末,位于城东米水河畔灵龟峰之巅,邑绅刘伯相建“元帝祠”于峰顶,县丞余有为建“如斯亭”于山腰。后有县衙牢吏张镗在峰麓出家将祠名改为“张镗庵”。明教谕杨世桂改“张镗庵”为灵龟寺。
灵龟寺位于攸县城东1.5km的洣水河畔。其山势一峰独秀,如龟出穴,踞水上游,享有“梅城第一峰”之美称。峰顶一寺,名灵龟寺,钟鼓常鸣,香烟缕缕,奇峰古刹,巍然屹立。岗环水绕,气象万千。
攸县城东郊有一孤峰谓之灵龟峰。千百年来,这里以山奇,水秀,洲平,林幽,寺深而胜名,一直为骚人墨客和僧侣道徒所景仰游览,留下大量诗文。“灵龟峰,峰上生枫,风吹枫动峰不动;白茅洲,洲畔停舟,水推舟摇舟摇洲不摇。”这幅对联恰到好处地再现了灵龟峰的美色。