Na místě, kde je dnes zámek, stávala od počátku 15. století tvrz, která často měnila majitele. V roce 1677 ji koupili Kaunicové, kteří ji nechali zbořit a Jan Adolf Kaunic tu v letech 1728-1737 nechal vystavět barokní zámek. Na místě nynější fary severně od zámku byly v roce 1858 při upravování parku nalezeny základy někdejšího dvora.

Tam, kde je nyní hlavní vchod do parku (směrem k Osovci), stávala kdysi věž. Když byla v roce 1864 zbořena, našel se v její báni krátký spisek, v němž se udává, že věž byla stavěna v roce 1717.

Jméno stavitele zámku není přesně známo, ale je nanejvýš pravděpodobné, že jím byl Anselmo Lurago, který po smrti Bartolomea Scottiho převzal a dokončil stavbu nového kostela v Osově. Tomu odpovídá i podobnost slohu kupříkladu s Kinským palácem na Starém Městě, který je rovněž dílem Luragovým.