V místech, kde leží dnešní obec Koloděje, dříve Kaladý, byl původně jen poplužní dvůr a krčma. Po převzetí majetku panem Adamem Čabelickým ze Soutic si zde nový majitel ke svému pohodlí postavil roku 1565 nevelké šlechtické sídlo v renesančním slohu na půdoryse lichoběžníka, opevněné příkopem napájeným řekou Lužnicí.

Majitelé tohoto panství se často střídali. Byli to Jan Mencelius z Kolsdorfu (r. 1625), Jan de Vitte z Lilientalu, Johanka Branštejnová z Malovic, Pavel Michna z Vacinova.
V roce 1704 přišel statek do dražby a dostal se do vlastnictví hraběte Františka Wratislava z Mitrowicz, s jehož rodinou zůstal po staletí spjat. V zápise ze Zemských desek z tohoto roku se dochoval popis tvrze. Byla stavěna z kamene a kryta kurkami (šindele), ve sníženém přízemí byl mlýn na dvojí složení, klenutá kuchyň, jeden pokoj, sklep a spižírny. V prvním poschodí bylo pět pokojů, ve druhém tři a prostorná tabulnice (jídelna).
V letech 1737-1741 provedl František Karel Wratislav se svojí manželkou Marií Annou roz. Kinskou rozšíření obytné části s přístavbou kaple, tím vznikla dnešní barokní podoba zámku.
Kaple sv. Anny je dílem stavitele Jana Hybnera, jenž byl silně ovlivněn dílem mistra barokní architektury Kiliána Ignáce Dienzenhofera (1689-1751). Interier je bohatě zdobený freskami, největší je na stropě, zobrazuje Pannu Marii se svatou Trojicí. Na zdech přechází freska do ilusivní malované architektury – zábradlí, sloupy apod. Ústřední oltářní obraz sv. Anny je údajně dílem Petra Brandla.
Z konce 18. století pochází také nástěnné malby v prvním poschodí. Zobrazují scény jednoho z předků Wratislavů z Mitrowicz, Václava zvaného„Tureček“ (1576-1635), který se jako patnáctiletý panoš zúčastnil cesty poselstva císaře Rudolfa II. do Cařihradu. Své vzpomínky na čtyřleté zajetí, které následovalo, zachytil ve vlastním cestopise „Příhody Václava Vratislava z Mitrovic“. 

K pozdějším úpravám došlo v roce 1840, kdy byl zrušen mlýn nacházející se v původní renesanční části zámku. Mlýn byl přemístěn do nové budovy na protilehlém břehu Lužnice a celé řečiště bylo přeloženo dále od zámku. Tím se zvětšil prostor před zámkem a došlo k rozšíření parku, původně založeného už v roce 1753. V roce 1875 byla mezi zámkem a vstupní branou postavena rodinná krypta rodu Wratislavů z Mitrowicz. Jako první sem byly uloženy ostatky bratrů Eugena a Karla Vratislavových, přenesené z kostnice na hřbitově v Týně nad Vltavou.

Rod Wratislavů z Mitrowicz a Schoenfeldu vymřel po meči v osobě Evžena Vratislava roku 1943. Jedinou majitelkou kolodějského zámku se nakonec stala jeho sestra Marie Terezie (1884-1961), která se provdala za svobodného pána Dercsényi, majitele velkostatku v Dolních Počernicích. Ve čtyřicátých letech byl majetek Dercsényiů znárodněn. 

Zámecký areál spolu s přilehlými budovami pivovaru, lihovaru, koníren a dalšími obhospodařovalo místní JZD, vlastní budova zámku byla násilně oddělena vysokou zdí a sloužila jako depozitář muzea. V polovině šedesátých let došlo v důsledku stavby Orlické přehrady ke zvýšení hladiny Lužnice, zanikl jez pod zámkem a přilehlý park se výrazně zmenšil rozšířením koryta řeky a stavbou ochranného protipovodňového valu.
Počátkem devadesátých let 20. století vznesly dědičky rodu Derscenyiů (rod vymřel po meči roku 1987) restituční nároky a po vydání majetek po částech rozprodaly. Od roku 2008 je zámek, který patří mezi památkově chráněné objekty, ve vlastnictví společnosti Mitrowicz, a.s.,  postupně prochází celkovou, velmi náročnou rekonstrukcí.