Tvrz vznikla až v 2. polovině 15. století po zániku hradu Šaumburka za vladyků z Heršic. V 80. letech 16. století olomoucký biskup Stanislav Pavlovský vybudoval v místech tvrze dnešní zámek. V roce 1622 se zámku zmocnili vzbouření Valaši, roku 1647 jej dobývali neúspěšně Švédové. Opravy a menší barokní úpravy v 2. polovině 17. století za biskupa Karla II. z Lichtenštejna (erb na vstupním portále). V roce 1742 zámek vyhořel a od té doby prováděny jen nejnutnější opravy, objekt využíván jako kanceláře a byty úředníků. Na sklonku 19. století přeložena správa arcibiskupských majetků do Všechovic a zámek zůstával téměř prázdný. V roce 1928 jej získal i stát a byl v něm výchovný ústav, tehdy důkladněji opraven.