Na místě románského královského hradu a staršího hradiště vznikl raně gotický hrad, z něhož se dochovala především dominantní válcová věž s břitem (pravděpodobně ze 13. stol., i když nelze vyloučit ani hypotézu o jejím pozdně gotickém založení). V průběhu dalších století probíhala na hradě rozsáhlá stavební činnost, kolem r. 1540 byl v souvislosti s tureckým nebezpečím opevněn čtyřmi raně renesančními bastiony. Na poč. 17. stol. došlo k přestavbě hradu na renesanční zámek. Zanedlouho, r. 1645 bylo město dobyto Švédy, kteří se tu zabydleli na celý rok, zámek poničili a odvezli ve 46 sudech nejcennější knihy a rukopisy. Další pohromu znamenal požár v r. 1718; zámek byl obnoven barokně kolem r. 1730 do podoby, kterou v podstatě známe dnes. Dne 22. 4. 1945 jej vypálila ustupující německá armáda, požár zničil malířskou výzdobu i svezené sbírky, mj. i originál paleolitické sošky Věstonické Venuše. V zámeckém sklepě se zachoval vinný sud z r. 1643. Ve městě se nacházejí také pozůstatky gotického opevnění, předsunutá strážní věž zvaná Kozí hrádek. Kalvárie s křížovou cestou ke sv. Kopečku (365 m n.m.) byla budována postupně od roku 1630.