Поленовский дом построен в 1882 г. местной артелью плотников. Одноэтажное деревянное здание состоит из центральной части с двумя большими комнатами, перекрытой двускатной кровлей, и невысокой пристройки, примыкающей к южному фасаду, с несколькими маленькими помещениями. С западной стороны находится открытая терраса.
Дом обогревался печью и камином, облицованными изразцами, имитирующими красную кирпичную кладку. Оформление интерьера включало дощатый пол и стены, а также стол, лавки и шкаф. Дом предназначался для супружеской четы художника В. Д. Поленова и Н. В. Якунчиковой, в 1882 году обвенчавшихся в только что построенной абрамцевской церкви.
Первоначально дом служил мастерской Поленову и местом проведения спектаклей. В летние месяцы 1910-х годов его снимал писатель Л. М. Леонов. Во время Первой мировой войны, в 1915–1916 годы, здесь размещался лазарет для слепых. В дальнейшем часть помещений использовалась под жилье, а в остальной части здания располагалась столовая дома отдыха. Сейчас здесь проводятся временные выставки музея разных направлений.