Jak z názvu plyne opravdu se zde kámen těžil. První pokusy o těžbu začaly kolem roku 1880, převážně kámen stavební.Postupně se těžilo na několika místech. Některá však zůstala později opuštěná nebo byla zasypaná.V provozu zůstal jámový lom, který byl v roce 1947 dlouhý 60 metrů, široký 50 metrů a hluboký 8 metrů.V roce 1948 byl lom znárodněn a těžbu převzal n.p. Českomoravský kámen Světlá nad Sázavou. V roce 1983 byl lom uzavřen.

              V naší obci žije 244 obyvatel, je zde 74 domů a 12 obydlených bytů. Některé domy nejsou trvale obydleny, ale jsou navštěvovány chalupáři a to převážně z Prahy.

V Kamenné Lhotě jsou nyní 4 rozestavěné rodinné domky a je další zájem o parcely pro stavby.

              Ve středu obce na návsi je budova bývalé školy, kde je nyní kancelář obecního úřadu, poštovní úřad, v prostorách po starém obchodě je nevelká tělocvična, která je navštěvována hlavně mládeží. V roce 1988 byla postavena nová prodejna, také je na návsi. Tehdy to byla prodejna Jednoty, v dnešní době je soukromá. Na návsi je kaplička, která byla v roce 1968 nově postavena, protože původní kaplička byla zchátralá.Je zde zvonek,který nám tzv. umíráčkem oznamuje pokud někdo v obci zemře.Dále je na návsi pomníček ve tvaru mohyly na památku obětem I. Světové války. V horní časti návsi je nevelký rybníček, který byl v roce 1998 opraven a nyní slouží hlavně menším dětem jako koupaliště.Pro život na vesnici je důležitá hospůdka U Urbanů. Chodí tam nejen pánové na své pivko, ale jsou zde plesy, posvícenská a masopustní zábava a další různá posezení, o které se starají místní hasiči.