Zbytky tvrze se nacházejí v zámeckém parku na okraji obce. Z tvrze se dochovalo jen severovýchodní nároží stojící na malém ostrůvku v bažinatém terénu. Zřícenina byla romanticky upravena. Na gotické zdivo byla vystavěna nová nadezdívka s lomenými okenními otvory. Konce zdí jsou upraveny do obrysů zámeckého pána a paní.

Tvrz byla postavena snad někdy v průběhu 15. století. Jediná zmínka o kladrubské tvrzi pochází z roku 1598, kde zmiňována již jako pustá a ves patřila k panství Střela. Znovu se stala samostatným statkem až v 18. století, kdy zde byl postaven barokní zámek.

Úpravy staré tvrze v zámeckém parku na romantickou podobu nechal udělat rytíř Taschek, jehož rodina vlastnila od sklonku 19. století přilehlý zámek (viz samostatné heslo). Mimo jiné je zde i podivná umělá zřícenina v podobě dračího hřbetu s ještěří hlavou, v které se skrýval romantický altánek.