Původně zde stávala tvrz, která byla prvně doložena v roce 1557. Později, v letech 1650 -1658, byla tato tvrz přestavěna na barokní zámek, který v roce 1694 vyhořel, ale  byl následně opraven. Od roku 1738, kdy byly Žádovice připojeny k sousednímu Kostelci, sloužil hlavně jako úřednické obydlí. Drobné úpravy se konaly ještě v letech 1764 - 1765.