Nét riêng nhất chính là kiến trúc làng: những ngả đường hình xương cá gồm một trục đường chính với rất nhiều ngõ nhỏ thông với nhau, người làng đi đằng nào cũng về đến nhà và trộm chạy đằng nào rồi cũng bị bắt (vì khi có động, tráng đinh cả làng ùa ra, ngay lập tức gặp nhau ở một chỗ).

Một lần đi trên con đường làng vắng vẻ, hai bên có những dãy tường đá ong loang lổ vết rêu và các cổng nhà khép kín, bầu không khí nơi đây lại có chút gì tư lự và mơ hồ, để khi về sao nhung nhớ quá cái màu thổ hoàng của tường đá ong rực lên trong nắng chiều xứ Đoài...

Đá ong là vật liệu có sẵn tại địa phương do quá trình latêrit hoá tạo nên. Ngày xưa Quang Dũng viết: "Đất đá ong khô nhiều ngấn lệ...". Quốc Oai, Thạch Thất cũng có rất nhiều đá ong. Ở đồng bằng sông Hồng, các nhà khoa học đã chứng minh rằng có hai vỉa đá ong lớn nằm ở Hà Tây và Bắc Ninh, mà Đường Lâm chỉ là một góc rất bé của một vỉa. Đá ong khi chưa thành khuôn gạch thì mềm dẻo nhưng đẽo lên rồi càng để càng cứng.