Z původního opevněného dvorce rodu Bavorů se zachovalo jen přízemí románské kaple z 1. poloviny 13. století. Zdeněk z Rožmitálu na místě dvorce vybudoval před rokem 1400 kamenný gotický vodní hrad, tvořící jádro dnešní dispozice. Je to hranolová věž a v nádvoří dvě obytné budovy. Po Jaroslavu Lvovi z Rožmitálu, švagru krále Jiřího, který vedl známé české poselstvo v letech 1465-1467 do západní Evropy, hrad zdědil jeho syn Zdeněk Lev. Vybudoval si v letech 1520-1530 z Blatné renesanční sídlo. Autorem projektu paláce na jižní straně nádvoří byl královský architekt Benedikt Ried. Za Václava z Rozdražova postaven koncem 16. století nový renesanční palác, věž zvýšena o hrázděné patro, upraven Riedův palác. Po požáru provedeny větší opravy v letech 1763-1767, poslední stavební změny jsou z let 1850-1856, kdy byl za Hildprandtů hrad regotizován podle návrhu arch. B. Gruebera a upraven na pohodlné sídlo.