První zmínka o zdejší vsi je již z roku 1289, ale prvního majitele známe až z roku 1440, kdy je vlastní Petřík ze Solopisk. Dalším majitelem byl Jan ze Solopisk – 1482 a od roku 1500 Jan z Libodřic , který se pak nazýval Jan Klucký z Libodřic. Někdy v tomto období zde vzniká tvrz. Ta je ale prvně připomínána až roku 1538, kdy jí syn Jana z Libodřic, také Jan, prodává i s přilehlým dvorem Janovi Chotouchovskému z Nebovid. Chotouchovští zde sedí až do roku 1584, kdy je majitel žlebského panství a Janův vnuk Jindřich prodává Janovi staršímu Lukaveckému z Lukavce. Lukavečtí vlastní ves až do roku 1624, kdy ji od Petra Lukaveckého koupil Jan Rudolf Trčka z Lípy. Ten ale tvrz vlastní jen velmi krátce, protože po prohrané bitvě českých stavů na Bílé hoře v témže roku je Trčkům majetek zabaven.

Novým majitelem se tak roku 1636 stává Ferdinand Zikmund Kurza ze Senftenau. Ani on zde ale nesedí příliš dlouho a tak již o dva roky později tvrz prodává císařskému generálovi Erazimovi Lehnarovi. Zámek je zde prvně připomínán v roce 1660, kdy ves vlastnil Jan Dětřich Ledebur. Majitelé se zde i nadále v rychlém sledu střídali / Jan von der Cron, Karel Leopold hrabě Millesimo, Eva Lidmila z Glouchov, Petr Mikuláš Kostomlatský z Vřesovic /. Až roku 1700 tvrz se vsí kupuje Antonie hraběnka Lützov, rozená Obytecká z Obytce. Za Obyteckých je zámek přestavěn v barokním stylu a kolem zámku byla zřízena zahrada. Obytečtí zde sedí až do počátku 19. století.

Po tomto datu se zde opět rychle střídají majitelé - hrabě z Bredy, Aegid Karel markýz de Trazegnies a Gabriela Auersperková, která Kluky připojila ke svému žlebskému panství. V roce 1856 získala klucký zámek Emílie Boleslavská z Rittersteinu, která jej nechává v letech 1880 – 1890 přestavět v pseudorenesančním stylu. Emilie zde roku 1905 umírá a zámek odkazuje Dačickým z Heslova. Ti zámek vlastní až do konfiskace v roce 1945.

Barokní zámek stojí na místě gotické tvrze ze 17. stol. se stavebními úpravami v 18. stol. Zásadní přestavba zámku v neorenesanční vilu z let 1880-90. Dochována velmi bohatá štuková výzdoba.

Areál zámku je situován v jádru obce, jižně od hlavní komunikace. Na západní straně je patrný bývalý hospodářský dvůr. Budova zámku je situovaná na severozápadní straně parku protáhlého obdélného tvaru. Na východní straně se dochoval celistvý úsek kamenné ohradní zdi.