Barokní zámek Koloděje nad Lužnicí byl původně renesanční tvrzí, kterou si roku 1565 postavil Adam Čabelický ze Soutic.

V roce 1704 přešla tvrz do vlastnictví hraběte Františka Wratislava z Mitrowicz a s jeho rodinou zůstalo panství spjato po staletí. Tvrz prošla přestavbou do barokní podoby a přistavěna byla i kaple sv. Anny, která nese jméno po manželce Františka Karla Wratislava, Marii Anně, rozené Kinské, jež zemřela před dokončením stavby a v kapli našla místo svého posledního odpočinku. Kaple je dílem stavitele Jana Hybnera, jenž byl silně ovlivněn dílem mistra barokní architektury Kiliána Ignáce Dienzenhofera. Zdobí ji stropní freska, která zobrazuje Pannu Marii se Svatou Trojicí.