Původní sídlem kácovských pánů byl tzv. Pustý hrad, gotická tvrz, která zanikla asi v 16. století a nachází se na skalním ostrohu cca 2km od centra Kácova. Dnešní zámek v centru obce dala postavit na místě starší renesanční stavby kněžna Anna Marie  Františka Toskánská v letech 1727 - 1735.

JAK SE K NÁM DOSTANETE

Autem: dálnice D1, exit 49 Kácov, Vlašim. Dále 5 km po silnici II/125 směr Uhlířské Janovice a Kolín. Parkovat lze zdarma na náměstí před zámkem a na 1. nádvoří zámku.

Vlakem: Kácov – zastávka se nachází na druhém břehu Sázavy naproti zámku (cca 400 m).

Jde o historickou trať Posázavského pacifiku (trať č. 212 Čerčany – Světlá nad Sázavou).

Lodí: řeka Sázava protéká přímo pod zámkem, na pravém břehu je umístěn kemp U Kouzelníka s občerstvením a vodácké tábořiště s občerstvením.

Na kole: Kácovem prochází cyklotrasa č. 19 (Sázava – Zruč nad Sázavou a č. 0123 (Kácov – Zbizuby) s návazností na další trasy okresu Kutná Hora a Benešov.