Ves Žihobce již v 11. století patřila břevnovskému klášteru, tvrz zde však vznikla až později, nic se z ní však nezachovalo. V 16. století vystavěn pány z Žihobce renesanční zámek, který několikrát změnil majitele a za Ferdinanda z Iselinu byl roku 1688 přestavěn do dnešní podoby.