První zmínka o obci je z roku 1543. Osudy obce Hvozdec jsou spojeny se sousedním Mrtníkem, který existoval pravděpodobně již ve 13. století. Název obce vznikl ze staročeského "mrt" = staré chrastí, možné vysvětlení je také z původně možného názvu Brtníky po "brtnicích" = včelařích, hledajících roje lesních včel. Mrtník patřil rodu Pešíků z Komárova a náležel do roku 1622 ke komárovskému panství. Po tomto roce se komárovské panství stalo součástí panství hořovického. Původ obce souvisí s činností horníků na nedaleké Jedové hoře, kde se těžila železná ruda s vysokým obsahem rtuti (proto jedová). Do roku 1923 byla součástí Hvozdců i osada Hrachoviště, poté se ocitla v nově zřízeném vojenském výcvikovém prostoru a nyní patří k okresu Příbram.