Původní osada se slovanským osídlením vznikla patrně již ve 12. století. V průběhu 13. století byla osídlována německými kolonisty a na dlouhou dobu se stala vsí německou. Původní název osady Žďárek souvisí nejspíš s českým termínem pro mýcení lesa “žďářením“. Obec patřila k desátkovým vesnicím jihlavské fary a k řádu německých rytířů. Ve 13. století ji získali želivští premonstráti, v 15. století přešla do držení Leskovců z Leskovce, pak patřila Trčkům z Lípy, kteří ji prodali v roce 1536 městu Jihlavě. Po vlastnictví rychtářem Heidlerem z Bukové (1625-1678) přešel Ždírec do panství štockého. Za majitele se vystřídali Pachtové z Rájova, páni ze Sinzedorffu, vévoda Mořic Saský a od roku 1748 Hohenzollernové.  

Zajímavé je, že již v roce 1859 byl postaven vodovod. První škola byla postavena v roce 1788, ale písemně je doloženo, že po domech se ve Ždírci učilo již roku 1642. Později zde byly školy dvě - německá (dvoutřídní) a česká s jednou třídou. Škola skončila svou výuku v roce 1974 a od té doby jezdí děti do sousedního Dobronína. 

Velký oheň řádil v obci několikrát, největší byl v roce 1890, kdy vyhořelo 29 domů včetně kostela a fary. V roce 1901 již v obci působil Spolek dobrovolných hasičů. O dva roky dříve byl založen Hospodářský spolek. K farnosti patřily počátkem 20. století obce Heroltice (Hilbersdorf), Pávov, Německý Šicendorf. Filipovské Chaloupky, Dobronín a Věžnička. V roce 1916 zakoupily sestry Klimentovy usedlost čp. 43, na místě nechaly vystavět sirotčinec a starobní útulnu, založily Spolek s. Františka a věnovaly se opatrování sirotků a přestárlých. Budova po rekonstrukci a přístavbě slouží dodnes pro 100 obyvatel Domova důchodců. V Domově důchodců ve Ždírci zemřel Theodor Bohumír Pařík (1881- 1961), profesor hudby, vynikající houslista a hudební skladatel, autor několika symfonií. 

Investiční rozvoj obce nastal po roce 1970, kdy bylo vybudováno sportoviště, vodovod s úpravnou vody a vodojemem, čistírna odpadních vod, kanalizace (I. a II. etapa), plynofikace, kulturní dům, mateřská škola, prodejna Jednoty Třeš?, kanceláře obecního úřadu a tři obecní byty. Provedena byla rekonstrukce bývalé školy, hřbitova a oprava místních komunikací.

Na okrajích obce jsou tři rybníky - Kněžský, Chmelský a Ždírecký. Protéká zde Ždírecký potok (přítok Zlatého potoka), který se následně vlévá do řeky Šlapanky. 

V obci je 77 trvale obydlených domů a 89 bytů. Převládá zde zemědělská činnost, několik rodin hospodaří soukromě (tři farmáři obhospodařují 310 ha půdy), zbývající část pozemků obdělává Dobrosev a.s. Dobronín. Místní firma Batepo, spol. s r.o. se zabývá výrobou a prodejem ponožek. Jsou zde ale také další drobné živnosti: výrobce nábytku, tři truhláři, opravář a prodejce chladírenských zařízení, dva opraváři elektrických spotřebičů. instalatér-topenář.