Obec je svou osadou Žlebská Lhotka, leží na pokraji Českomoravské vrchoviny ve výšce 385 m nad mořem. Ze severu a severovýchodu je chráněna příkrými svahy Železných hor prorostlými zvětší části lesy. V těchto horách se po r. 1811 těžila železná ruda a zpracovávala v nedalekém Hedvikově (dnes s část města Třemošnice).

Chvalovice se poprvé připomínají v roku 1391, kdy náležely Janu z Chvalovic, který tehdy prodal své majetky Řádu němckých rytířů v Drobovicích. V roku 1533 byly Chvalovice příslušenstvím lichnického panství. V roce 1543 koupil Chvalovice od Trčky z Lípy majitel žlěbského panství Kuneš Bohdanecký, a proto také v 19 století dostaly Chavlovice rozlišovací přívlastek Žlebské.

V současné době má obec Žlebské Chvalovice 88 domů a trvale zde žije 90 obyvatel. Zbývající domy jsou obydleny přechodně chalupáři. Pro porovnání žilo v roku 1954 v obci a osadě 456 obyvatel. Celý katastr obce je součástí CHKO Železné hory. S ohledem na jižní a jihozápadní polohu obce a klidné prostředí, využívají obyvatelé ze širokého okolí tohoto místa k odpočinku a turistické rekreaci.