Tương truyền, chùa Song Mai là nơi mà Nguyễn Bỉnh Khiêm thường đến lễ và đã từng trả lời sứ giả Chúa Trịnh bằng câu “sấm truyền”, rằng: "Giữ chùa, thờ Phật thì được ăn oản" (ý nói không nên thoán đoạt ngôi Vua nhà Lê).
Bên cạnh chùa là nhà thờ phu nhân Trạng Trình - bà Minh Nguyệt, người Đồ Sơn, có công cùng danh nhân lập nên chùa này. Hai công trình có kiến trúc thật đẹp, bên chùa Song Mai với những cột đá vuông, ngược lại ở đền thờ phu nhân Trạng Trình Nguyễn Bỉnh Khiêm là hàng cột tròn. Trước sân là Thiên đài Song Mai tự tạo dựng vào năm 1700 thời vua Lê Hy Tông.
Trong cảnh vật ngày xuân, nhìn những đóa mai vàng trước sân chùa làm nhớ lại bài thơ của thiền sư Mãn Giác: “Mạc vị xuân tàn hoa lạc tận/Đình tiền tạc dạ nhất chi mai”. Dịch thơ: Chớ bảo xuân tàn hoa rụng hết/ Đêm qua – sân trước – một cành mai.
Tam quan vào Song Mai tự.
Song Mai Tự.
Bên cạnh chùa là đền thờ Phu nhân Trạng Trình.
Hàng cột đá vuông tròn chạm khắc rất đẹp của chùa Song Mai và đền thờ Phu nhân Trạng Trình.
Chính điện chùa Song Mai.
Điện thờ có tượng phu nhân Trạng Trình - bà Minh Nguyệt.
Trước sân chùa là Thiên đài Song Mai tự tạo dựng vào năm 1700 thời vua Lê Hy Tông.
Sân chùa ngày xuân với hoa mai vàng trước sân.