Lohjan kunta osti Paloniemen kartanon vuonna 1930, jolloin päärakennus muutettiin vanhainkodiksi. Rakennus kuitenkin tuhoutui tulipalossa vuonna 1950, jonka jälkeen samalle paikalle rakennettiin moderni vanhainkoti. Pihapiirissä ollut tilanhoitajan rakennus purettiin. Huvimajassa tehtiin vuosien kuluessa pieniä muutoksia. Paanukate vaihtui huopaan, väritys muuttui tummasta vaaleaksi, joitain koristeosia poistettiin ja takapäädyn sisäänkäynti purettiin.
Huvimaja oli vanhainkodin käytössä, kunnes sen käyttötarve vähitellen hiipui, säännöllinen ylläpito jäi ja rakennus rapistui. Rakennusta kunnostettiin paikoitellen aika ajoin, mutta sen huono kunto on huolestuttanut lohjalaisia säännöllisesti. Vanhustenhoito Paloniemessä päättyi 2010-luvulla. Sen jälkeen kartanoalue on ollut jo pitkään myynnissä eikä sen tulevaisuudesta tiedetä.
Paloniemen huvimaja 1900-luvun puolivälissä, jolloin sen ulkoasu oli jo lähellä nykyistä. Lohjan Museo.