Tục truyền chùa do công chúa Diệu Thiện, con gái út của Sở Trang Vương (Tàu) tạo dựng khi đến tu hành ở đây. Một truyền thuyết có vẻ hợp lý: Xưa kia người ta thường đến am Thánh Mẫu để cầu tự, ông Hiệp trấn họ Trần cầu tự ở đây sinh được 3 con trai đặt tên là Hồng, Hương, Tích và một chúa Trịnh không rõ chúa nào cũng vào cầu tự và sinh được Thế tử. Hàng năm chúa sai người vào đây tạ ơn Phật tổ, sau thấy vùng Hương Sơn - Hà Tây phong cảnh đẹp lại gần kinh thành nên cho xây chùa để tiện đi lễ Phật, khỏi phải vào Ngàn Hống xa xôi. Vì vậy chùa Hương - Hà Tây cũng gọi theo tên chùa chính: Hương Tích tự.
Hương Tích động, Hương Tích phong là gọi theo tên ngôi chùa cổ ở đây – Hương Tích Tự – Hoan Châu đệ nhất danh lam, Hương Tích nghĩa đen là “chứa mùi thơm”. Chùa Hương Ngàn Hống dựng đời Trần, có thể đồng thời với chùa Yên Tử (Quảng Ninh) thế kỷ XIII. Qua những biến thiên lịch sử cảnh cũ đổi thay nhiều.
Những vết tích còn lại và tài liệu cho hay chùa được khởi dựng từ thời Trần (thế kỷ XIII - XIV), được tu sửa nhiều lần. Năm 1885 chùa bị hoả hoạn cháy trụi (cùng với chùa Thiên Tượng) và được tổng đốc An Tĩnh là Đào Tấn - nhà soạn Tuồng nổi tiếng đứng ra vận động xây dựng lại vào năm 1901. Hiện nay các công trình kiến trúc chính (đền, am, chùa) vẫn giữ được gần nguyên vẹn dáng vẻ ban đầu thế kỷ XX. Phật phả, bia ký chùa Hương Tích không còn. Do đó chúng ta không biết năm tháng chính xác xây dựng chùa, các nhà tu hành đầu tiên và các thời kỳ tiếp theo ở chùa này.
Quần thể di tích chùa Hương gồm có: 2 toà chùa ngoài và trong, am Thánh Mẫu, đền Thiên Vương (đền thờ Hồng Sơn Đại Vương), và lên cao hơn nữa có nền Trang Vương. Chùa Hương với cảnh đẹp thiên nhiên mang nhiều cảnh sắc khác nhau, với quần thể kiến trúc tôn giáo đã phối hợp tài tình với vẻ đẹp thiên nhiên ở đó những hình khe thế núi đúng là “Tình trong cảnh ấy, cảnh trong tình này”.
Phía sau chùa là những tảng đá lớn vươn ra che chở, những thân cây cổ thụ toả bóng rêu phong tạo nên vẻ u tịch, trầm tư, linh thiêng, huyền ảo. Bên cạnh điện Tam Bảo, nhà Bái Đường, giếng Trời, nhà thờ Tổ.., như thường thấy trong kiến trúc các ngôi chùa cổ, còn có nhiều hạng mục linh thiêng như am Diệu Thiện, am Bát Cảnh, thần Hổ Trắng, thác Giải oan, khe Quỷ Khốc.., gắn liền với các sự tích và truyền thuyết hoá Phật của nàng công chúa Ba. Cảnh đẹp non nước nơi đây đã được chạm khắc vào “Anh đỉnh” - một trong chín đỉnh đặt tại Thế miếu trong nội thành cố đô Huế.
Đã thành lệ, hàng năm cứ đến ngày công chúa Diệu Thiện hoá Phật (18/2 âm lịch), nhà chùa mở hội chính, thu hút nhiều khách phương xa vượt sông, trèo núi đến nơi đây để chiêm bái. Mấy năm gần đây, khi ngành công nghiệp không khói được chú trọng, vào đầu năm mới, Hà Tĩnh chọn chùa Hương Tích khai hội để mở đầu năm du lịch cho toàn tỉnh.
