Starší tzv. Horní tvrz je obklopena hlubokým vodním příkopem, přes který vede most do gotické brány, chráněné věží.

Ves Kestřany bývala rozdělena mezi různé zemanské rody s manskými povinnosti ke hradu Zvíkovu. Původ horní tvrze se klade do druhé poloviny století. Jejím nejstarším známým držitelem byl Albert z Kestřan, připomínaný poprvé v r. 1315. V následujících stoletích změnila tvrz mnohokrát majitele, z nichž obecně nejznámější byli Švamberkové. Nejstarší částí tvrze je tzv. purkrabství v severní polovině nádvoří, které si dosud zachovalo v přízemí raně gotickou žebrovou klenbu a mladší gotické klenby a portály. Za Švamberků byl vystavěn vstupní pozdně gotický palácový trakt, vložený před starší jižní hradbu. Součástí východního křídla paláce byla kaple sv. Máří Magdalény, klenutá sklípkovou klenbou. Tvrz je obehnána příkopem původně napájeným vodou z blízkých rybníků. Dřevěný zdvihací most k bráně nahradil v 18. století dnešní kamenný.