Tvrz doložena rokem 1382 (majetek Vladyků za Žeranovic). Zpustla snad za husických válek. Zda stála přímo v místech zámku či ve východní části vsi nazývané Prchov, kam ji klade místní tradice, nelze jednoznačně rozhodnout. V 16. století postavili Bítovští za Slavíkovic novou renesanční tvrz, která tvoří jádro dnešního zámku. Za panství kartuziánského kláštera v Olomouci (1669 - 1784) upravena v nevelký barokní zámek. V letech 1869 - 1876 za Fürstenberků byla v zámku umístěna zemědělská škola, později změněna na sladovnu. Poslední majitelé Dubští z Třebomyslic (1901 - 1945) užívali zámku jako skladiště, po určitou dobu jako dřevařské továrny.