Tvrz ze 14. století zpustla za husitských válek. V roce 1480 ji získal augustiniánský klášter ve Šternberku a nechal opravit především jako sídlo hospodářských úředníků. Na počátku 18. století sloužila jako letní sídlo příslušníků kláštera. V letech 1747 - 1751 byl v jejích místech postaven nový barokní zámek - letní sídlo představených kláštera. Po zrušení kláštera v roce 1784 přešel do majetku náboženského fondu (určitou dobu sloužil jako vojenská nemocnice), v letech 1827 - 1879 náležel rodu Saint Genois. V 30. letech 19. století upraven klasicisticky. Od roku 1879 náležel Lichtenštejnům, v roce 1884 jej získalo rolnické družstvo, kterému náležela i zdejší sladovna. Tehdy byl změněn v kanceláře a byty, později se v jeho vlastnictví vystřídalo ještě několik majitelů zdejší sladovny.