Quê ông ở xã Đậu Liêu, huyện Thiên Lộc nay là xã Đậu Liêu, thị xã Hồng Lĩnh, tỉnh Hà Tĩnh. Lớn lên ra Thăng Long học. Khi đứng ra làm minh chứng cho vụ án “Canh lươn” được dư luận cho là người có tài, tuy chưa đi thi nhưng triều đình đặc cách trọng dụng. Ông đã từng giữ các chức vụ: Ngự sử Trung thừa, An Vũ sứ Lạng Sơn, thăng Tham tri chính sự, chức Á tướng, thờ ba triều vua: Thái Tổ, Thái Tôn và Nhân Tôn.
Đối với chính sự, ông là bậc sĩ phu tận tâm, quyết đoán, công minh cương trực không hề né tránh, xu phụ một ai. Ông rất ghét bọn gian nịnh, làm việc tắc trách và quý trọng những người trung trực. Thời Lê Thái Tôn, nhà vua làm nhiều việc trái với di huấn của Tiên đế. Ông và nhiều đình thần cực lực can ngăn, ngay đối với Lê Sát, Tể Tướng đương triều làm nhiều việc sai trái thao túng lộng quyền ông cũng đã dâng sớ hặc tội. Nhưng lúc đó nhà vua đâu dễ dàng nhìn thấy và dường như sự có mặt của ông tại triều là một cản trở khó chịu.
Ông đã bị Lê Sát biếm truất đẩy ra trấn trị ở Lạng Sơn. Mặc dù bị Lê Sát trù dập nhưng khi hắn bị tội, nhà vua ra lệnh chém bêu đầu, ông đã can vua không nên áp dụng hình phạt đó đối với một đại thần từng là phụ chính, vốn là khai quốc công thần.
Hơn ba thế kỷ sau khi ông mất, khảo sát lại hàng ngũ quan chức thời Lê sơ, nhà sử học, bác học Lê Quý Đôn, nhận xét: “Bùi Cầm Hổ là một trong những sĩ phu luôn luôn trung thực, chính đáng, phong độ cao đẹp, chẳng những giúp nhà vua tiếp theo con đường đạo đức, mà bọn công thần, võ tướng đều phải nể sợ, không dám làm càn”.
Khi nghỉ về quê ông vẫn chăm lo đồng điền như một lão nông, ông đã cùng dân làng xây một con đập bằng đá chặn dòng khe Vẹt dẫn nước từ núi xuống đủ tưới hàng trăm mẫu ruộng của làng xưa nay vốn bị hạn hán. Ông đã trở thành một trong những vị “tổ sư” ở vùng Nghệ Tĩnh về đắp đào kênh dẫn nước tưới ruộng.
Khi ông mất, triều đình ghi công và phong Bỉnh quân đại vương, Thượng đẳng phúc thần. Đền thờ ông được xây cất ngay bên hữu ngạn ngọn khe Vẹt trước chân núi Bạch Tỵ trong dãy núi Hồng nhân dân cả vùng quen gọi là đền Đô Đài.
Hàng năm, vào dịp tháng Giêng, đại lễ hội và lễ tế đền Đô Đài được người dân trong vùng tổ chức trang nghiêm, kính cẩn. Lễ hội Đô đài còn gọi là “Lễ báo ân”, là một trong những lễ hội lớn từ xưa ở xứ Nghệ.