První zmínka o vsi je z roku 1360, kdy je nazýván Clunitz, dále pak Chlumpcz či Chlumecz. O starém založení svědčila i poloha domů na návsi v kruhu, kdy nejvýše stál dvorec. Obec velice poznamenal požár roku 1883, při němž kromě čtyř domů shořela celá ves. Před obcí stojí boží muka z roku 1815 na paměť ukončení napoleonských válek. Chlumec byl vždy čistě českou obcí, maximální počet obyvatel zde byl v roce 1900 a činil 189 osob.
V roce 2006 měl Chlumec 131 obyvatel.