Zámek znovu stavěl od roku 1578 Jindřich z Valdštejna; Henyk z Valdštejna, který jej dokončil, v něm roku 1610 zřídil tiskárnu. Původně čtyřkřídlý objekt obklopený příkopem a hradbou, s nárožními hranolovými bastiony a arkádami. Jihovýchodní bastion byl v 18. století přestavěn na vysokou věž. K. Weinrich z Wetzlarzu vybudoval roku 1831 pro Karla Anselma Thurn-Taxise v západní části zámku cukrovar, kvůli němuž byla v letech 1832-33 zbořena zámecká kaple a zničeny zámecké interiéry. Později bylo zbořeno severní křídlo a části západního a východního křídla; arkády byly zazděny. Severně a východně od zámku vyrostly nové výrobní budovy. Roku 1923 prodali Thurn-Taxisové zámek Ústecké rafinérii cukru.