Hrad postaven počátkem 14. století Janem Železným na místě staršího, zbořeného koncem 13. století. Po husitských válkách jej Jiří z Poděbrad postoupil Kostkům z Postupic, od nich jej koupil Jaroslav Velen z Boskovic, který zahájil roku 1490 přestavbu v renesanční zámek. Na stavbě se kromě stavitelů Jeronýma Dubského a Kašpara Hardinga podíleli zřejmě i italští kameníci. Ladislav Velen ze Žerotína zde vytvořil středisko umělců, básníků, hudebníků, teologů a alchimistů. Povolal také italského architekta J. Mottalu, který v letech 1611 - 1618 zámek přestavěl do dnešní podoby. Po konfiskaci jej získal roku 1622 Karel z Lichtenštejna, zámek ztratil funkci šlechtické rezidence a stal se správním střediskem panství. Roku 1643 jej vydrancovali Švédové. Po požáru roku 1640 klasicististně přestavěn (část zámku zanikla) a byly zde opět kanceláře a byty lichtenštejnských úředníků (do roku 1945).