Đền Phúc Ấm cũ được xây dựng vào đầu thế kỷ XIX để thờ Đức “Đô đô thống chế Đại tướng quân, tổng quản Ngọc Khê Hầu”. Người là vị tướng đến trấn ải biên cương Việt - Lào, có công khai phá xây dựng và bảo vệ làng Phúc Ấm cho nên được nhân dân tôn làm Thành Hoàng.
Đền ngự ở vị trí rất đẹp đầu làng, tiền hậu có sân đình rộng rãi, là nơi hội họp bàn chuyện quan trọng của làng, phía trước có Tắc Môn với hai cột nanh bề thế. Tả hữu có Điện thờ hai ông Nghè.
Công trình kiến trúc duy nhất còn sót lại là một giếng cổ, gọi là giếng Đền, từ xưa giếng được gọi là long mạch của làng. Việc phục dựng lại Đền Phúc Ấm sẽ gắn với việc khôi phục lại Hội làng để lưu giữ và phát huy nhiều nét đẹp của phong tục tập quán, sinh hoạt văn hóa cộng đồng của người dân địa phương.
Hiện nay, để đảm bảo hoàn thành công việc xây dựng các công trình còn lại cần có sự quan tâm giúp đỡ của các cấp các ngành, đặc biệt là tấm lòng hướng về cội nguồn của con em của Xã Hương Long đang sinh sống và làm việc trên khắp mọi miền đất nước.