Siedzibą muzeum jest zabytkowy dwór ziemiański. Składa się on z dwóch części: willowej (wyższej) i dworkowej (niższej). Historia części dworkowej odsyła nas do budynku modrzewiowego zbudowanego w XVIII wieku dla Burskich. Od 1799 roku należał on do Godlewskich, następnie do Trzeszczkowskich i Chludniewicza, a od roku 1886 do Lutosławskich. Z kolei część willowa została wzniesiona w roku 1895 i połączona z częścią dworkową. Willa to budynek wykonany w stylu klasycyzującym, według projektu Franciszka Lilpopa. Posiada kształt nieregularnego czworoboku. Jest dwukondygnacyjna, podpiwniczona, murowana z cegły, tynkowana, o dachu wielospadowym. Jest zwieńczona wydatnym profilowanym gzymsem, który podtrzymują osadzone w ścianie i znacznie z niej wystające kroksztyny.

Dach w części budynku zwanej willową jest kryty blachą miedzianą, a w części dworkowej kryty gontem.

Po roku 1945 władze komunistyczne pozwoliły na pozostanie w rodzinnym dworze ostatniej dziedzice – Marii z Lutosławskich Niklewiczowej. Trwała tu do końca lat 70. i to dzięki jej determinacji budynek przetrwał. Nieruchomość sprzedała w 1977 roku Urzędowi Wojewódzkiemu w Łomży, zastrzegając by był w przyszłości przeznaczony na działalność służącą polskiej kulturze.

W 1978 roku podjęto remont budowli. Część dworkową rozebrano, aby z pewnymi zmianami odtworzyć ją w cegle i betonie. Choć były różne pomysły na zagospodarowanie budowli, ostatecznie zabytkowy dwór przeznaczono na muzeum powołane do życia w roku 1984.