Vznik Kámena se připomíná od roku 1720, kdy majiteli - pány Děčínska byli plných 300 let Thunové. Ti založili v roce 1720 u vrchu Heinhüblu osadu Heidenstein, česky Kámen. Název osady vznikl podle "polohy" a překládá se jenom druhá polovina složeného slova. Jako součást obce Ludvíkovice byla osada Kámen do roku 1980.

Z dlouhodobého přehledu počtu obyvatel vyplývá, že nejvíce obyvatel (téměř 400) dosáhla obec v letech 1869 - 1930. Hlavními faktory ovlivňující snižování počtu obyvatel byl předválečný odsun čechů do vnitrozemí a odsun německého obyvatelstva z tohoto území.

Kronika obce není k dispozici a nepodařilo se vyhledat vhodný archivní materiál, kterým by bylo možné detailněji popsat dějiny obce.

Od 13 století stával na území obce hospodářský dvůr, kteý vlastnil rod Heidenreich. V letech 1737-39 byly pozemky rozparcelovány na výstavbu usedlostí. V roce 1787 měla obec 40 domů, v roce 1833 měla 58 domů s 341 obyv. V roce 1890 měla obec 359 obyv. V roce 1910 pouze 336 obyvatel. V roce 1934 bylo nejběžnější přijmení: Kunert, Lorenz, John, Theissig, Hain, Hieke, Hietel, Richter, Siebiger, Baum, Dittrich, Geier, Hegenbarth, Kretschmer, Parsche a Wagner. Vznikem první republihy byl zvolen starosta Albert Piesche z čp.106, druhým starostou byl Albin Kunert z čp.104. V obci byly tři hostince: čp.33 majitel Parsche, Philipp, čp.40 a čp.68 majitel Weiss.