Stavba jezuitské rezidence začala roku 1738, postupovala však pomalu, rozsáhlejší stavební práce začaly znovu v r.1745 - 1746. Roku 1748 bylo dokončeno nižší přední křídlo s branou, jejíž věž je datována 1752, hodiny 1754. Autorem rezidence byl Kilián Ignác Dientzenhofer. Na stavbě se účastnil i tesař J. Leffler a nejmenovaný colloredovský zahradník. Po dokončení tvořila rezidenci čtyři jednopatrová a dvoupatrová křídla, z nichž východní je jen poloviční délky, proto nádvoří zůstalo pootevřené. Součástí rezidence byla i kaple sv. Aloise. Na zdi k náměstí byly v letech 1754-1757 osazeny barokní vázy a plastiky od T.Süsmayera, které s dalšími pěti figurálními plastikami z let 1727-1762 od neznámého autora tvoří pozoruhodný soubor. Při zámku byl vybudován skleník a postupně i hospodářské budovy - pivovar, sladovna, koželužna, valcha, bednářství, truhlářství, zámečnictví, stáje, kolny a další. Kolem roku 1872 byla mansardová střecha nahrazena plošší střechou, na jižní straně bylo přistavěno patro s pískovcovou balustrádou. Podkroví s vikýři pochází z let 1951-1953.

 

Výzdobu zámku provedli jezuité Kramolín a Lauterer. Obrazárna měla 61 originálů, mnoho zlatých a stříbrných předmětů, po zrušení řádu byla prodána.