Sídlo v Zahrádkách připomínáno za pánů z Mnichova v letech 1376 - 1556. Nezávisle na něm budován od roku 1547 Václavem z Vartemberka renesanční zámek. V 17. století přešel do rukou Kouniců, za nich v 2. polovině 18. století a pak kolem roku 1820 přestavěn do dnešní podoby. V současné době je poškozen požárem a je nutno jej restaurovat.