Památník významného malíře, grafika a ilustrátora Adolfa Kašpara byl zřízen v domě, který si Adolf Kašpar postavil a v němž bydlel v letech 1911 až 1932. Roku 1954 byla na domě odhalena pamětní busta od akademického sochaře Julia Pelikána. Roku 1970 byla v prostorách domu otevřena pamětní síň. V původním letním domě Adolfa Kašpara z roku 1911 byla na počátku 90. let obnovena expozice života a tvorby významného malíře a ilustrátora. Současná instalace je ukázka dobového interieru, a stručná historie města Loštic, včetně připomenutí dějin židovského ghetta. S úpravou expozice proběhla v roce 1992 i oprava fasády domu. Po úpravách budovy zde byly roku 1995 přestěhovány také sbírky Havelkova muzea.