V místech zámku stával hrad vybudovaný pravděpodobný pravděpodobně ve 14. století Hechty z Rosic. V letech 1570 - 1579 nechal Jan starší ze Žerotína vybudovat v místech hradu rozsáhlý renesanční zámek opevněný příkopy a valy. V roce 1611 proběhla v zámku význačná jednání moravské šlechty, na nichž bylo rozhodnuto o jejím vystoupení proti Rudolfu II. Za Haušperských z Fanalu v polovině 18. století barokní úpravy interiérů, budov na předzámčí a v místech zrušeného opevnění zřízena zámecká zahrada. V roce 1925 získalo zámek město.