帝嚳祠位于雨母山飛來石峰之下，石獅垅土皂坳正上方。據(jù)《生書紀(jì)年》載：“古有術(shù)器作亂，辛侯（帝嚳）遂之于衡來雨母山，斬其首。”后舜帝南巡，于此地建祠祀之。公元1993年秋，當(dāng)?shù)厝嗣窦Y復(fù)葺帝嚳祠時，清基挖土掘出古銅幣4000余枚，均為唐宋時期的錢幣，由此推斷，帝嚳祠當(dāng)建于唐宋或唐宋之前。

帝嚳祠為國內(nèi)唯一的一處祭祀帝嚳之處，（據(jù)傳：帝嚳為三皇五帝之一，三皇一帝炎黃帝、顓項(xiàng)、帝嚳、唐堯、虞帝）帝嚳祠始建于大舜之時，歷經(jīng)興衰，有史記載的比較大的重新修葺的活動有兩次，一是明工部侍郎王詔的祈祠修葺，二是1993年當(dāng)?shù)厝罕娂Y重建毀于1944年抗日戰(zhàn)爭的帝嚳祠。

2001年，衡陽市佛楞于帝嚳祠下面庵祠土皂投資興建完整的佛教叢林，現(xiàn)已全面竣工。帝嚳祠與雁雨寺連成一體，氣勢磅礴、雄偉壯觀，是全市一處重要的宗教文化圣地。