Ivančice vznikly jako královské město ve 13. století. Zřejmě současně s městem byl založen i gotický hrad, doložený poprvé roku 1329. V letech 1421 - 1435 tu byla husitská posádka, poté hrad s městem často zastavován. Roku 1486 postoupil Vladislav II. Ivančice dědičně Vilémovi z Pernštejna. Koncem 15. století přešly sňatkem na pány z Lipé a ti o sto let později přestavěli původní hrad v jednopatrový renesanční zámek zakončený atikovým štítem. Roku 1622 připadly Ivančice Lichtenštejnům a zámek se změnil nejprve v hospodářskou budovu, od poloviny 18. století sloužil jako kasárna (menší úpravy v nádvorní části), na počátku 19. století jako vojenská nemocnice. V roce 1873 přistavěno druhé patro a odstraněn původní štít. Od roku 1878 byly v zámku umístěny kanceláře a též městské muzeum.