Jádro opevněné obce tvořila tvrz, doložená již ve 13. století. Prvním významnějším majitelem byl Jindřich Pouzar, který přestavěl gotickou tvrz do renesanční podoby. V roce 1602 ji získal Petr Vok. Vytvořil z ní své letní sídlo, které roku 1610 daroval Theobaldu Hockovi. Za něho bylo dostavěno spolu s obcí i opevnění tvrze a kamenná hradba, zajištěná příkopy a zesílená válcovými věžemi. Po bitvě na Bílé hoře získali Žumberk spolu s blízkými Novými Hrady Buquoyové. V 18. století sloužila tvrz jako úřednické sídlo.

Tvrz prošla v posledních let rekonstrukcí.

V tvrzi se nachází převážně lidový nábytek a jsou zde pořádány pravidelné prohlídky.