Theo sử sách, Chế Thắng phu nhân Nguyễn Thị Bích Châu (? - 1377) tên thật là Nguyễn Cơ, tự Bích Châu, quê ở xã Bảo Lộc (Hải Hậu, Nam Định). Bà là con gái của vị đại thần họ Nguyễn rất mực thanh liêm. Từ nhỏ cho đến khi trưởng thành, bà Bích Châu được cha mẹ dạy dỗ chu đáo về văn chương, đạo lý và võ thuật, cung kiếm. Khi lớn lên xinh đẹp, thông minh, bà được vua Trần Duệ Tông tuyển vào cung, sau này phong làm quý phi và được nhà vua sủng ái.
Là người thông tuệ, lại luôn lo lắng cho sự an nguy xã tắc, trong bối cảnh đất nước còn nhiều rối ren, chính sự chưa yên, lòng dân bất ổn, bà Bích Châu đã dâng vua Trần Duệ Tông (1336 – 1377) bản “Kê minh thập sách” gồm 10 điều trị nước an dân, đến nay vẫn còn giá trị.
Năm 1377, biên giới phía Nam Đại Việt bị giặc quấy rối, vua Trần Duệ Tông đem quân đi đánh Chiêm Thành, bà xin đi theo để hộ giá. Trên đường chinh phạt, do bị trúng kế của quân địch, các viên tướng của nhà vua lần lượt tử trận, khi đó bà Bích Châu đã thân chinh đứng ra chỉ huy đạo quân bảo vệ nhà vua. Không may bà bị trúng mũi tên tẩm độc, vết thương quá nặng, bà trút hơi thở vào giờ Tý, ngày 11/2/1377 (Đinh Tỵ).
Linh cữu Quý phi Bích Châu được đưa về Thăng Long theo đường biển. Tuy nhiên, đến cửa biển xã Kỳ Ninh (TX Kỳ Anh) ngày nay thì gặp mưa to gió lớn, không thể đi tiếp được, vua Trần Phế Đế (người kế vị vua Trần Duệ Tông vừa mất) liền xuống chiếu cho quan quân an táng linh cữu của bà tại đây và lập miếu để Nhân dân thờ phụng, hương khói.
Năm 1470, vua Lê Thánh Tông đi đánh giặc Chiêm Thành, đến cửa biển Kỳ Ninh phát hiện ngôi miếu, biết được câu chuyện đánh giặc của bà Bích Châu, đã đề tặng bốn chữ “Nữ trung hào kiệt” dán lên bài vị và làm lễ cầu mong hương linh quý phi trợ sức. Sau khi thắng trận trở về, vua Lê Thánh Tông hạ chiếu lập đền, cấp ruộng tế và người trông coi, sắc phong cho bà là Chế Thắng. Kể từ đó, đền được gọi là Chế Thắng phu nhân Nguyễn Thị Bích Châu.
