Původně na tomto místě stála renesanční tvrz, která byla postavená po roce 1577 Benešem Benedou z Nečtin na místě kláštera benediktinů. K přestavění došlo v polovině 18. století podle projektu J. J. Wircha v zámek pro Jana Josefa hraběte z Millesima.