Obec Bačkov je ves, vzdálená 3 km od městečka Habry. Název vznikl přivlastňovací příponou -ov z osobního jména Baček. Ve 13.  století náležel Bačkov pánům z Lichtenburgů, Smil *1269, vystavěl Světlici (Lichtenburg - Lichnici), měl čtyři syny Jindřicha (Žleby), Smila (Ronov), Oldřicha (Lichnice, Chotěboř) a Reimunda, který obdržel zboží smrdovské, součástí jehož byl i Bačkov a Zboží, později se však z Čech vyprodával a zakupoval se na Moravu. První zmínka o obci se vztahuje k datu 16. října 1307, kdy Bačkov náležející pod správu hradu ve Smrdově (nyní Sázavka) nabyl benediktinský klášter ve Vilémově, tímto přešlo patronátní právo z Reimunda z Lichtenburgu na vilémovského opata Jaroslava (archiv český I. 39, kronika obce Bačkov).

V některých písemných památkách předhusitské doby se uvádí jméno vladyků z Bačkova, je tedy pravděpodobné, že zde stávala už v této době tvrz. Asi roku 1400 dal opat Mikuláš za souhlasu konventu svému bratru Beneši ze Smrdova a jeho synu Václavovi na dluh Bačkov se vsí Zboží. V témž archivu (str. 461) je poznamenáno - V registru zápisů z roku 1454: "Roček z Tupadel odkázal nám dva listy, jeden kněze Mikuláše, opata i všeho konventu kláštera vilimovského, svědčící Benešovi z Tupadel (a ze Smrdova) a Václavu, synu jeho na 100 kop grošů dluhu na Bačkov a Zboží, na ty dvě vsi, jež přileží tu blíži ke Smrdovu .. . Syn Václava byl jménem Roček (Procek) a psal se z Bačkova. V Českém archivu od Františka Palackého, díl I, str. 254 se píše: Roček z Bačkova dne 17. března 1440 na sjezdu v Čáslavi podepsal zápis na mír zemský (Landfried) čtyř spojených krajů - kouřimského, čáslavského, chrudimského a hradeckého. Na témž sjezdu byl i jeho otec Václav“.

15. prosince 1402 zemřel ve vsi Sedletín Mikuláš z Bačkova, v kterýžto uvedený den byl proveden zápis v Čáslavi. Peníze spadly na krále (Archiv český 35 / 303 - č. 23).
 Roku 1414 byl Mikuláš Lelek z Bačkova uveden na listině z toho roku (Archiv český 35/415 - č. 3). Roku 1458 je uváděn Roček z Bačkova, z této doby pochází první zmínka o tvrzi (Kol. - Hrady, zámky a tvrze v Čechách, na Moravě a ve Slezsku. VI. Východní Čechy - Praha 1989, str. 34). V roce 1421, po zničení benediktinského kláštera ve Vilémově, přešel Bačkov, jako součást světelského a i haberského panství do majetku krále Zikmunda I. Avšak po roce 1429 je získávají, podobně jako mnoho jiných duchovenských statků Trčkové z Lípy a to Mikuláš Trčka, který je připojil ke svému panství Světlá nad Sázavou. V této době byl Bačkov a Zboží při panství světelském spravován svobodným rychtářem v Bačkově.

Trčkům náležel do roku 1636, jmění hrabat Trčků, jak syna Adama Erdmana, tak i otce Jana Rudolfa Trčky z Lípy bylo konfiskováno podle císařského patentu dne 29. března 1634 a soud ve Vídni v květnu 1636 tento patent potvrdil. „... aby paměť Jana Rudolfa Trčky a jeho manželky pro jejich vyčtená provinění za proklatou byla prohlášena a veškeré jmění a statky po nich pozůstalé královské komoře jsou přisouzeny.“ (Desky zemské 622-17).

Císař Ferdinand II. zabavenými statky platil své  dluhy a obdarovával své věrné, většinou důstojníky z řad cizácké vojenské soldatesky, pocházející z mnoha katolických zemí Evropy. Bačkov jako konfiskát byl prodán oblíbenci Ferdinanda II. jeho komorníkovi a válečnému
radovi Donu Aldobrandinu a jeho dědicům. V této době došlo k rozdrobení světelského panství a Bačkov se stal samostatným statkem.

Kolem roku 1650 se stal pánem Bačkova trčkovský fořtmistr Albert Beneš Klusák z Kostelce (+1651), po něm jeho syn Jan Maxmilián a později vnuk Jan Václav (1674 až 1747), který byl pochován v klášteře v Sedlci. Po něm držela Bačkov Tereza Amchová z Borovnice, rodem Klusáková z Kostelce, manželka Matěje Amchy z Borovnice pána na Nové vsi. (kronika obce Bačkov s odvoláním na Ottův slovník a farní kroniku ve Smrdově)

Koncem 18. století náležel Bačkov Janu Heřmanu z Herrnrittu a nacházel se zde zámek, (který si nechal postavit na základech staré tvrze před rokem 1787 - Hrady, 1989, str. 34) dvůr uprostřed něho byl malý lihovar, v místech domu pana Adamce stál pivovar (na poli nad Bačkovem se pravděpodobně pěstoval chmel, pole se jmenuje "Na chmelnici") a větrný mlýn (dodnes se pozemkům za vsí říká "Na větrníku").

Obec měla v této době 22 domů (r. 1787). Později Bačkov ještě několikrát změnil držitele, většinou cizince. V roce 1809 patřil Antonínu rytíři z Mosburgu, který prodal Bačkov vídeňskému měšťanu a kupci Josefu Ullerichovi. Od roku 1843 patřil Leopoldovi Limpovi (v té době bydlel na zámku správce), od kterého ho koupil v roce 1850 Jan Moravec společně s manželkou Antonií, rozenou Limpovou za 40 000,- zlatých ražení českého (1854 Johann Morawec (Ebrhart Jonák Der Land und lehentäfliche grundbesitz in Kön. Böhmen, Prag 1865, str. 2)), datován jako vlastník i v roce 1870.

Roku 1872 přešlo panství na Františka - starohraběte Salm - Reifferscheidtu za 182 tisíc zlatých ražení českého, roku 1874 byla k Bačkovu přidělena správa velkostatku Zboží. Zemřel dne 26. prosince 1887 ve svém majorátním domě v Jungmannově ulici v Praze. Jelikož byl svobodný a zemřel bez potomků, po jeho smrti po něm dědila Bačkov jeho sestra Johanna hraběnka z Thun - Hohensteinu, svobodná hraběnka ze Salm - Reifferscheidu (Procházka - Grundbesitz .., str. 605)), vdova po hraběti Osvaldu - Thun -Hohenstein,majiteli panství na Žehušicích a Klášterci.

Posledním majitelem panství Světlá nad Sázavou a Habry, k němuž patřilo deskové panství Bačkov, byl hrabě Josef Osvald Thun - Hohenstein, který toto panství zdědil po matce Johanně v roce 1892 (+1891 - Johanna hraběnka z Thun – Hohensteinu).

V červnu 1913 ho přinutily finanční problémy, aby prostřednictvím Pozemkové banky bylo toto panství postupně prodáno. V tomto období koupil dvůr úpický továrník Richard Morawetz, továrník, a v roce 1916 k němu připojil dvůr Kysibl. František Tůma koupil zbytkový statek a zámek po pozemkové reformě v roce 1925, v roce 1948 byl společně s rodinou vystěhován, po navrácení v roce 1993 byly provedeny menší opravy zámku, které nepokračují a zámek v současné době dále chátrá.

V době prusko - rakouské války se léčil na zámku pruský poručík, který však následkům zranění a cholery podlehl. Byl pochován v zámeckém parku tzv. "Oboře", pod dubem, kde rád sedával. Na jeho památku zde je postaven pomníček s tímto nápisem:

"Zde v míru odpočívá Viktor gvasovský, krakovský a pruský, druhý poručík a praporní adjutant ve IV. Pomořanském pěším pluku č. 21. Narozen 23. prosince 1838 v Topiau, zemřel po přestálém polním tažení, po pětidenním utrpení 10. srpna 1866 v zámku u Bačkova. Postaven jeho truchlícími rodiči a majitelem statku Johanem Moravcem.“