Původně renesanční zámek z konce 16. století byl do roku 1707 v barokním slohu rozšířen a v letech 1812-18 jeho zevnějšek klasicistně upraven.
 
Barokní zahrada, založená v první čtvrtině 18. století za Jana Josefa Valdštejna, patřila k nejpozoruhodnějším svého druhu. Při stavební činnosti podle projektů J. B. Matheye vzniklo vnější zámecké nádvoří, navazující na čestný dvůr. Oba prostory byly odděleny ozdobným plotem, architektonicky členěnými pilíři se dvěma vázami a čtyřmi sochami z Braunovy dílny. Dvě představují zápasícího Herkula, další Minervu a Marta. Rozšířením areálu v roce 1731 po úpravě terénu a zajištění opěrnými zdmi byly vytvořeny podmínky k založení tzv. Knížecí zahrady. V letech 1967-68 byla barokně rekonstruována. V nižší části je květinový parter, při opěrných zdech byly vysazeny popínavé růže. Lomená osa zahrady vychází z bočního vstupu a končí plastikou. Výškový rozdíl vyrovnává dvouramenné schodiště s drobnou kašnou s maskaronem. Dolní rozšířenou část oddělují od přírodního parku okrasné jabloně.
 
Barokní období v zámku vyvrcholilo hospitálem s kaplí Nanebevzetí P. Marie s freskou V. V. Reinera. Hospitál je dílem litoměřického stavitele Octavia Broggia. Přibližně ve stejné době, tj. v letech 1716-28, byla zakládána zahrada přísně symetrické kompozice s pravidelně členěnými květinovými záhony, s alejí tvarovaných stromů, živých stěn, s okrasnými zídkami a s oživujícími bazény a fontánami. Hlavní osa zahrady procházela středem zahradního průčelí zámku ke vchodu kaple dnes už neexistujícího hospitálu. V opačném směru bylo ukončujícím prvkem pískovcové sousoší M. B. Brauna Čas loupí krásu, zpodobující únos Óreithýe Boreem. Bylo umístěno v nice čelní zdi terasového schodiště.
 
Navazující vedlejší část pozdějšího parku byla architektonicky ztvárněna jednopodlažním pavilónem v prodloužené příčné ose zahrady. K dvoustupňové fontáně na ploše před ním se paprskovitě sbíhaly cesty, lemované stromořadím. Pavilón po klasicistní úpravě sloužil jako obydlí pro zahradníka a byly k němu přistavěny skleníky pro pěstování okrasných rostlin.
 
Od konce 18. století, kdy také vrcholil lázeňský věhlas nedalekých Teplic, bylo v zámku společensky velmi rušno. Pořádaly se pastýřské hry, divadelní a hudební představení a jiné slavnosti. Mezi slavnými návštěvníky byl Goethe, Beethoven, Chopin a jiní.
 
Klasicistní úpravy zevnějšku zámku, dokončené v roce 1818, provázely i postupné přeměny barokní zahrady. Na rozšířeném území byl zakládán přírodní anglický park s volně komponovanými cestami, stromovými solitéry nebo skupinami. Jedinou páteří parku byla diagonálně vedená alej od Knížecí zahrady k okraji parku. Průhled alejí končil na zalesněných svazích Krušných hor barevně odlišenou výsadbou stromů do písmene W. Park oživovala tekoucí voda, napájející několik rybníků. Dodnes se zachoval tzv. Sfingový rybník s plastikami z počátku 18. století. V parku byla na několika místech zřízena odpočivadla. Na umělé vyvýšenině stála socha bohyně lovu Diany.
 
V roce 1956 a v dalších letech byl park zasažen těžbou, které padl za obě i barokní hospitál. V uplynulém desetiletí bylo území rekultivováno a park obnoven. Byl zřízen i objekt pro osazení Reinerovy vzácné fresky a také pro původní plastiky z kaple hospitálu. Do vnějších výklenků byly umístěny alegorické sochy z předpokládaného Braunova okruhu.
 
Z původních porostů se ojediněle zachovaly duby, jasany, lípy a platany. Ostatní dřeviny jsou z pozdějších období, největší část tvoří nové výsadby.
 

Nejdůležitějším obdobím ve stavbě duchcovského zámku byl konec 17. a počátek 18. století. Tehdy vznikl dnešní charakteristický půdorys zámeckých budov i ostatní stavby dotvářející valdštejnské sídlo. Z nich pak špitál s centrální kaplí Nanebevzetí Panny Marie, postavený v letech 1716-1728, citlivě zasazený do areálu zámecké zahrady, založené v roce 1727 podle projektu tyrolského architekta Ferdinanda Schora, tvořil optickou protiváhu mohutné frontě hlavního zámeckého křídla. Autor plánu špitálu nebyl dosud zjištěn. Bývá uváděn litoměřický stavitel Octavio Broggio, v úvahu přichází i F. M. Kaňka, který byl valdštejnským architektem. Na umělecké výzdobě a dotváření špitálu se podíleli významní sochaři Matyáš Bernard Braun, Ferdinand Maxmilián Brokoff a nejvýznamnější freskař českého baroka Václav Vavřinec Reiner.
 
V roce 1725 vytvořil F. M. Brokoff na objednávku Jana Josefa Valdštejna do kaple sousoší Kalvárie. M. B. Braun umístil na atiku středního křídla špitálu čtyři plastiky Víry, Naděje, Lásky a Trpělivosti, které, vytvořil pravděpodobně kolem roku 1736. Autor knihy o M. B. Braunovi Emanuel Poche nevylučuje možnost, že původcem námětu plastik symbolizujících špitální zařízení byl sám hrabě Valdštejn, který byl ve věcech uměleckých ambiciózní a do určitě míry i rivalem hraběte Šporka, majitele Kuksu.
 
Umělcem, který završil výzdobu špitálu, byl Václav Vavřinec Reiner. Již před rokem 1720 namaloval pro Jana Josefa Valdštejna rozsáhlý cyklus obrazů valdštejnských předků, které zdobí stěny hlavního sálu zámku. Výzdobu sálu dokončil rozsáhlou nástropní freskou. U roce 1728 přišel do Duchcova znova, aby vyzdobil kapli špitálu. Reiner byl v té době umělcem známým a žádaným, Ve své tvorbě rozvíjel dědictví Karla Škréty, v mnohém navazoval na Petra Brandla. U oboru fresky byl jeho vzorem přítel Jan Kryštof Liška, který ho zřejmě zasvětil do této malířské techniky.
 
Dominantou špitální fresky Nanebevzetí Panny Marie je trojúhelníková kompozice Nejsvětější Trojice. Základnu fresky tvoří vrstevnatá římsa, přes níž splývají oblačné pásy, čnějí nohy andělů a cípy jejich rouch. Použité barvy jsou jasné, působivého účinku je dosahováno sdružováním modré a bílé u roucha Panny Marie a žlutookrové s fialovou u Boha otce. Čtyři oválná okna určují směr dopadu světla a tím ještě zvýrazňují barevnost malby. Některými prvky (postavami andělů) freska navazuje na Reinerovy dřívější práce - fresky v klenbě hradčanského svatojánského kostela a novoměstského kostela Panny Marie Sněžné v Praze.
 
V průběhu existence fresky došlo ke změně okolí špitálu, kdy původní francouzsky založený park byl změněn v anglický. Postupující těžba uhlí zasáhla v padesátých letech tohoto století celou třetinu plochy parku a s ním i barokní špitál, který musel ustoupit. Nebyla to situace jednoduchá ani pro doly, ani pro památkovou péči. Nakonec měla být na základě vládního rozhodnutí zachráněna z objektu špitálu sochařská a malířská výzdoba.
 
Tým restaurátorů pověřený sejmutím fresky a jejím přenesením měl na jaře roku 1956 před sebou velmi nesnadný úkol. Především to byla krátkost termínu, v němž museli práci provést. Freska byla ve velmi špatném stavu: odpadlá místa, dutiny a puchýře v omítce, znečištění prachem a sazemi a dokonce i poškození střelbou z pušek a praků. Na druhé straně se freska dochovala v původní podobě, bez pozdějších retuší a přemaleb. Restaurátoři byli nuceni přizpůsobit se dochovanému stavu a postupovat novými, u nás dosud nevyzkoušenými postupy. Nejdříve se freska po řadě náročných zkoušek v celé ploše (více než 200 m ) zpevnila pomocí tehdy nových látek - akrylátových polymerů. Jako pracovní nástroj sloužila obyčejná lékařská injekční stříkačka, váleček a houba. Postup sejmutí malby je možno přirovnat ke sloupnutí. Malba se přelepila tkaninou z organtýnu, pod přelepem i na přelepu byla vyznačena síť poledníků a rovnoběžek, tvořící základ pro pozdější instalaci fresky do nové kopule. Do této sítě restaurátoři zakreslili jednotlivé díly malby tak, aby jejich hranice netvořily pravidelný obrys. Těchto dílů bylo nakonec 549. Vrtačka s karborundovým kotoučem je oddělila od sebe řezy širokými pouze jeden milimetr. Poklepem paličkou se uvolnila malba i s vrstvou omítky a díl po dílu se podařilo sejmout. Nebyly v průměru větší než půl metru čtverečního. V další fázi restaurátoři obrousili omítku a malbu konzervovanou proti plísním uložili na překližkové desky zasunuté do drážek v bocích 4 velkých beden. Celá práce trvala půl roku.
 
Bedny byly na dlouhou dobu místem uložení větší části fresky. Větší proto, že její fragment byl vystaven v Miláně a v roce 1967 na strop našeho pavilónu na světové výstavě v Montrealu. Po sejmutí fresky se předpokládalo její brzké osazení do některého náhradního objektu. Měla se jím stát kopule kostela sv. Rocha v Praze, poté se uvažovalo o postavení klenby nad zdmi bývalé sladovny v areálu oseckého kláštera. Díky velkému úsilí tehdejšího předsedy městského národního výboru v Duchcově Josefa Zády zvítězilo řešení ponechat fresku v Duchcově a vytvořit pro ni architektonický prostor, jenž by s ní tvořil slohově jednotný celek.
 
Pavilón, projektoval v roce 1972 Státní ústav pro rekonstrukci památkových měst a objektů v Praze podle návrhu prof. ing. arch. Jana Sokola. Koncepci pavilónu podminovaly rozměry a tvar původní kopule, zachována musela být i výška fresky nad podlahou a osvětlení čtyřmi oválnými okny v kopuli.
 
Stavba pavilónu byla zahájena zároveň s rekultivací zámecké zahrady. Prováděly ji Doly Julia Fučíka v Bílině a Inženýrské a průmyslové stavby v Praze. Mezi prvním výkopem 11. 5. 1973 a závěrečnou kolaudací počátkem roku 1976 mohli náhodní diváci sledovat celou řadu unikátních stavebních postupů, které byly nezbytné, protože životnost stavby v našich podmínkách má překročit 300 let. K nejobtížnějším pracem patřila přesná konstrukce kopule.
 
Po skončení stavební části následoval o znovuosazení a restaurování fresky. Český fond výtvarného umění pověřil těmito pracemi kolektiv restaurátorů Petra Bareše, Jiřího Brodského, Karla Mezeru, Jiřího Toroně a Jana Vachudu. Velkým problémem se ukázalo přesné osazení jednotlivých dílů. Zde pomohla perfektní dokumentace pořízená při snímání fresky před pětadvaceti lety. Tvar každého dílu se překreslil na šablonu, která sloužila při zkusmém osazení. Potvrdila se i dobrá práce stavbařů, klenba byla provedena velice přesně. Před dalším pokračováním se ukázalo nezbytným vyměnit všechny ochranné přelepy, po dlouhém skladování zcela zneprůhledněly a změnily se i vlastnosti použitého lepidla. Restaurátoři opatřili zadní stranu fresky vrstvou upraveného štukového tmelu a vyztužili ji tkaninou. Usnadnili si tím manipulaci s jednotlivými díly a zamezili i jejich poškození. Zkušební osazení osmi dílů do vrchlíku kopule v roce 1980 a posouzení jejich stavu po zimě prověřilo správnost postupu i použitých materiálů k lepení na omítku, tak že na jaře roku 1981 bylo možno osadit zbytek. Teprve po zatvrdnutí spojovací hmoty mohli restaurátoři odstranit ochranné přelepy a zahájit vlastní restaurátorské práce: odstranit zbytky fixáží, starých lepidel, nečistot, zatmelit všechny spáry a chybějící části malby, provést barevné retuše a místa ve spodních partiích, kde se nedochovala původní Reinerova malba, domalovat v neutrálním tónu.
 
Dne 5. července 1982 proběhla kolaudace hotového díla. Slavnostní zpřístupnění pavilónu a Reinerovou freskou se uskutečnilo 19. května 1983.

Možnost nývštěvy pavilonu s freskou Reinerovou vuchcově.