První písemná zmínka se datuje až od roku 1591, kdy vesnice patřila k lipnickému panství. V letech 1636 – 1850 byla součástní haberského velkostatku a od roku 1850 je samostatnou obcí.

V Kameni byla kolem roku 1789 založena pošta a pro ni byla u hlaní silnice v roce 1824 postavena empírová jednopatrová budova s mansardovou střechou.

Základní /obecná/ škola byla v obci zřízena v roce 1892. Kámen v roce 1850 v okrese Habry, 1869 – 1930 okres Čáslav, v roce 1950 okres Chotěboř, 1961 – 2005 okres Havlíčkův Brod.