Když po roce 1651 převzala statek, horní tvrz se dvorem, dolní tvrz a vesnici Kestřany Františka Polyxena ze Švamberka, provdaná Paarová, její manžel Karel Paar vystavěl naproti dolní tvrzi raně barokní zámek a při něm založil okrasnou zahradu a vinici. Panství později opět několikrát změnilo majitele, až se v roce 1700 dostalo do majetku Schwarzenberků.