V 16. století začala šlechta opouštět nehostinné hrady a budovat pohodlnější sídla - zámky. Této proměny se dočkal i původní královský kamenný dvůr, tehdy v majetku Lobkoviců. V roce 1585 ho nechali přestavět v renesančním slohu v uzavřený čtyřkřídlý zámek s vnitřním nádvořím. Interiér zámku by vyzdoben četnými freskami zejména s loveckými výjevy. V této podobě vyhovoval reprezentačním nárokům vysoké šlechty. Lobkovicové se ze zámku příliš dlouho netěšili. Po devíti letech přešel do majetku komory a stal se administrativním centrem králodvorského panství.
Při velkém požáru v roce 1712 ztratil zámek celé jedno křídlo. Největší změny zámek čekaly v druhé polovině 18. století, kdy byl přestavěn v barokním slohu a dostal zhruba dnešní podobu, kterou s největší pravděpodobností vytvořil sám Kilián Ignác Dientzenhofer, dvorní stavitel a architekt mnoha zámeckých i sakrálních staveb po celé rakouské monarchii. Po převzetí panství Fűrstenbergy plnil zámek nadále funkcí správního sídla velkostatku a byl pronajímán nájemcům.

Jedním z nájemců byl i Josef Macháček, schopný a prozíravý podnikatel, politik a vlastenec. Jeho početná rodina často vítala na zámku mnohé významné osobnosti té doby. Zajímavostí je, že se do Macháčkovy dcery Terezky zamiloval básník Jan Neruda. Z tohoto platonického vztahu se zachovalo několik milostných dopisů a také Nerudovy básně, adresované Rézince. Terezka zemřela v osmnácti letech na tuberkulózu a Neruda na ni nezapomněl do konce svého života.

Zámek, který byl v majetku Fűrstenbergů až do roku 1945, však postupně chátral. V roce 1947 se do zámku nastěhovala rolnická škola, pozdější zemědělská učňovská škola, kterou v roce 1971 vystřídal podnik bytového hospodářství a sklady zeleniny, v roce 1973 pak podnik výpočetní techniky. Od roku 1988 prochází v bezprostřední blízkostí zámku dálnice D5, při jejíž výstavbě byl zničen zámecký park.

Nová naděje pro zámek vznikla v roce 2000, kdy se této kulturní památky ujal soukromý vlastník. Ten v současné době usiluje v součinnosti s městským úřadem a státními památkovými orgány o jeho celkovou rekonstrukci a následné zpřístupnění. V zámeckých zdech by měla najít útočiště galerie, kulturní víceúčelový sál, obřadní síň atd. Tím by tato budova poprvé ve své historii plnila kulturní funkci.