Theo sử sách ghi lại, Tiến sĩ Đào Toàn Bân (1308 - 1386, còn gọi là Đào Toàn Mân, Đào Toàn Phú), quê ở làng Song Khê, xã Song Khê, huyện Yên Dũng (nay là TP Bắc Giang).
Thuở nhỏ, ông nổi tiếng thông minh, học giỏi, sách vở đọc qua một lần là thuộc; mới 16 tuổi (năm 1324) đã đỗ đầu thi Hương. Tuy vậy ông không ra làm quan mà mở trường dạy học.
Năm 1352, vua Trần Dụ Tông mở khoa thi thái học sinh, ông đi thi và đỗ tiến sĩ đệ nhị giáp khi 44 tuổi. Được bổ làm quan ở Phủ Thiên Trường (thị trấn Cổ Lễ, huyện Trực Ninh, Nam Định ngày nay), ông đã đưa một phần gia đình xuống đây và vận động nhân dân khai hoang lập ấp, lấy tên là làng Song Khê để nhớ về quê cũ của mình. Sau này, ông được thăng đến chức Lễ Bộ thượng thư, Tham tri thẩm hình viện sự.
Tuy làm quan to nhưng Đào Toàn Bân vẫn dành thời gian dạy học. Tại Khoa thi Đình năm 1374, kinh thành Thăng Long chấn động vì ba ngôi đầu bảng vàng: Trạng nguyên, bảng nhãn, thám hoa đều lọt vào học trò của nhà giáo họ Đào. Trạng nguyên là Đào Sư Tích (con trai ông Đào Toàn Bân), bảng nhãn là Lê Hiến Phủ, thám hoa là Trần Đình Thám. Chưa kể có thêm một học trò nữa đỗ tiến sĩ là Lê Hiến Tứ.
Đương thời, danh sư Chu Văn An nghe tin cũng bày tỏ sự thán phục tài năng và công lao giảng dạy của nhà giáo Đào Toàn Bân, đã tặng ông bốn chữ “Đại sư vô nhị” (người thầy có một không hai).
Vua hết lời ngợi khen cha con Đào Toàn Bân và Đào Sư Tích, ban cho bức trướng đề năm chữ “Phụ tử đồng đăng khoa” (Cha con cùng thi đỗ). Dòng họ Đào ở xã Song Khê hiện còn lưu giữ cuốn gia phả ghi chép về hai danh nhân khoa bảng họ Đào, cả hai cha con đều làm quan đến chức Thượng thư bộ Lễ.
Năm Bính Dần (1386), nhà giáo Đào Toàn Bân qua đời ở tuổi 76. Thi hài ông được đưa về quê an táng tại xứ đồng Bãi Trạng, thôn Lịm Xuyên, xã Song Khê. Người dân làng Song Khê (nay là thôn Song Khê 1 và Song Khê 2) đã lập đền thờ ông.
Những năm gần đây, chính quyền và nhân dân địa phương đã đầu tư trùng tu di tích khang trang. Vùng đất này nổi tiếng có nhiều người đỗ đạt, đặc biệt có tới 13 vị tiến sĩ được ghi danh tại Văn Miếu Quốc Tử Giám nên còn được là “làng tiến sĩ”. Tiếp nối truyền thống của cha ông, đến nay xã Song Khê có hơn 300 người đỗ đại học, 9 tiến sĩ, gần 40 người được phong hàm cấp tá.
Với những công trạng hiển hách vinh danh quê hương, đất nước, ngày 18/6/2021, Bộ trưởng Bộ VHTTDL Nguyễn Văn Hùng ký Quyết định số 1901 công nhận xếp hạng di tích quốc gia đối với Di tích lịch sử mộ và đền thờ Tiến sĩ Đào Toàn Bân ở xã Song Khê (TP Bắc Giang).