Theo sử sách ghi lại, chùa Kim Dung được xây dựng từ đời nhà Trần (thế kỷ thứ XIII), gần chùa có dấu vết trang vương, khi Hưng Đạo Vương kinh lý phía nam, qua đây thấy cảnh đẹp nên dừng chân nghỉ lại vùng sơn thủy hữu tình này. Sau này, người dân ghi nhớ công lao của Hưng Đạo Vương nên lập miếu thờ ngài ngay cạnh chùa.
Cấu trúc chùa Kim Dung gồm chùa thờ Phật và đền thờ Thánh Mẫu, thờ thần có quy mô rộng và đẹp; các công trình kiến trúc bố trí hài hoà với không gian và thiên nhiên, tạo sự huyền bí mà gần gũi.
Dãy núi Bằng Sơn - nơi ngôi chùa tọa lạc là nơi táng mộ tổ Quận công Nguyễn Hữu Chỉnh. Đây còn là địa điểm diễn ra nhiều sự kiện lịch sử trọng đại, là địa bàn hoạt động của nhiều chiến sỹ yêu nước. Chùa Kim Dung là nơi hội họp của Đảng ta vào những ngày đầu khó khăn, là nơi thành lập chi bộ Đảng đầu tiên của xã Thạch Bằng.
Lãnh đạo huyện Lộc Hà - Hà Tĩnh đánh trống khai hội chùa Kim Dung năm 2018.
Có mặt tại lễ hội, hàng trăm tăng, ni, phật tử và người dân địa phương đã thành tâm cầu mong sự an lành, mưa thuận gió hòa, mùa màng tươi tốt, đất nước ngày càng giàu đẹp, văn minh.
Lễ hội còn diễn ra nhiều hoạt động văn hoá phong phú như: Kéo co, chọi gà, cờ thẻ, cắm trại, bóng chuyền…
Các hoạt động vắn hóa, thể thao được diễn ra hết sức sôi nổi dưới chân núi Bằng Sơn - nơi ngôi chùa tọa lạc (ảnh Thùy Mỹ).
Đông đảo bà con, tăng, ni, phật tử về lễ chùa.
Đến với chùa Kim Dung, du khách được đắm mình vào không gian non nước hữu tình. Từ trên chùa nhìn ra hướng đông là vùng biển Cửa Sót với quần thể khu nghỉ dưỡng Vinpearl Hà Tĩnh (Ocean Villas), Công viên nước (Vinpearlland Water Park) cùng bãi biển Xuân Hải đẹp nguyên sơ trữ tình