Câu chuyện về tòa Lâu đài Lý tưởng bắt đầu từ năm 1879. Một ngày nọ, trong khi đi phát thư trên tuyến đường quen thuộc của mình, nhân viên bưu chính người Pháp, Joseph Ferdinand Cheval (1836-1924), vấp phải một viên đá có hình dáng kỳ lạ. Và ông đã này ra ý tưởng xây dựng một công trình chỉ bằng những viên đá như thế.
Suốt 33 năm sau đó, Cheval đã thu nhặt những hòn đá trong khi đi làm nhiệm vụ giao phát thư, mang về nhà, cùng vợ xây dựng lâu đài lý tưởng. Ban đầu, ông nhặt những viên đá cho vào túi, sau đó dùng giỏ và xe cút kít để mang về được nhiều hơn. Ông làm công việc của người thợ xây dựng phần lớn vào ban đêm, chỉ sử dụng một cây đèn dầu làm nguồn sáng. Với vôi, vữa và xi măng, ông dùng tay để trộn thành hỗn hợp kết dính những viên đá lại với nhau. Lâu đài có chiều dài 26m, chiều cao thay đổi từ 8-10m.
Năm 1969, Bộ trưởng văn hóa Pháp, André Malraux, tuyên bố lâu đài là công trình cấp quốc gia và hiện nay được nhà nước bảo vệ. Năm 1986, chân dung Cheval được in thành một con tem ở Pháp.
 |
| Ông Joseph Ferdinand Cheval và lâu đài bằng đá cuội do chính tay ông xây dựng |
 |
| Bên trong và mặt ngoài của lâu đài có những công trình điêu khắc độc đáo cũng bằng đá cuội |
 |
 |
| Một công trình tôn giáo bên trong lâu đài |
