Zámek, nazývaný též tvrz, vznikl v roce 1564 za Aleny Meziříčské z Lomnice. V roce 1596 přešel zámek na Berky z Dubé (do roku 1709, kdy jej prodali žďárskému klášteru). Za Berků i za klášterního panství sloužil jako úřednické obydlí a hospodářská budova. Kolem roku 1730 barokně upraven. Po zrušení kláštera v roce 1784 připadl zámek moravskému náboženskému fondu a roku 1793 byl již velmi zpustlý prodán v dražbě místnímu mlynáři jako obytný dům. Tehdy byl rozdělen na 4 samostatné části a výrazně přestavěn.

Patrová dvoukřídlá budova v exteriéru i interiéru poznamenaná rozdělením na 4 samostatná čp. Zachovány zbytky renesančních okenních a dveřních ostění.

Je chráněn jako kulturní památka České republiky. Zajímavostí je, že jedním z jeho majitelů je český prezident Miloš Zeman.