Existence panského sídla v Rumburku je datována do počátku 19. století, ale teprve z roku 1566 je zmíněna zápisem o „panském sídle" s pivovarem, sladovnou a poplužním dvorem se stájemi. Prokazatelná existence a používání zámku jako panského sídla je doložena k roku 1587. Předpokládá se, že před současnou stavbou zámku, existovala v areálu dvora starší stavba tvrze, či panského domu. V roce 1642 byl zámek vypálen Švédy, ale teprve v roce 1683 byl opraven a přestavěn v barokním slohu. Současná (především venkovní) podoba vznikla po přestavbě zničeného zámku po požáru v roce 1724. V průběhu 19. století ztrácí zámek postavení šlechtické rezidence a po roce 1850 už sloužil pro potřeby různých úřadů (zpočátku okresní hejtmanství, poté soud). V budově proběhl i stanný soud s vůdci Rumburské vzpory v roce 1918.
Od roku 1960 sídlí v zámku Odborné učiliště polygrafické. Zámek, stejně jako hospodářský areál, čeká na důkladný průzkum, protože užíváním stavby pro potřeby školy, došlo k setření historického rázu, především vnitřních prostorů. Prostory zámku nejsou volně přístupné, ale lze nahlédnout přes vstupní bránu do čestného dvoru.