Nơi đây còn gắn với truyền ngôn về vị vua cuối cùng của triều Mạc - Mạc Kính Vũ. Tương truyền, sau khi thất thủ ở Cao Bằng bị quân Lê - Trịnh đánh bại vào năm 1677, Mạc Kính Vũ cùng gia thất xuôi theo sông Hồng ẩn cư, đi tu ở chùa Xuân Sơn (tên Nôm là chùa Trống) và viên tịch tại đây. Theo truyền ngôn sau khi mất, ông được mai táng ở khu vực vườn sau chùa Trống.