Původně gotický hrad byl postaven v polovině 13. století na rozsáhlém skalisku, podle kterého byl také pojmenován. První písemné zmínky jsou z let 1316 a 1318. V letech 1327 až 1504 je Kámen královským lenním hradem. Od roku 1523 hrad téměř 200 let vlastnila jedna z větví významného českého rodu Malovců. V polovině 16. století dosáhlo panství Kámen největšího rozmachu. K hradu patřilo stejnojmenné městečko a deset poddanských vsí. Z maloveckých držitelů se do historie Kámenu nejvýznamněji zapsal rytíř Jan Kryštof Malovec (držel hrad od roku 1640). Za něho byl hrad znovu přestavován, bylo vystavěno jižní obytné křídlo a vstupní věž (1673). Na západním okraji vsi dal vystavět ranně barokní kapli Panny Marie Sedmibolestné a v ní zřídil rodinnou hrobku. V průběhu 18. a 19. století se držitelé hradu a panství rychle střídali a hrad ztrácel na svém významu. Po roce 1948 byl hrad poslednímu majiteli Antonínu Fleissigovi vyvlastněn. Státním kulturním majetkem byl Kámen prohlášen v roce 1953. V letech 1964 až 2002 byl hrad Kámen zřizován ONV, později Okresním úřadem v Pelhřimově. Od 1. 1. 2003 je hrad Kámen příspěvkovou organizací Kraje Vysočina.

 Starý palác byl vystavěn v první polovině 13. století na nejvyšším a nejméně přístupném místě skalního masivu. Základy byly založeny v přirozených skalních puklinách, proto je půdorys stavby nepravidelný. Základová skála prochází při jižní stěně. Hradní palác (donjon) je mohutná obytná věž obranného charakteru. Přízemní prostor byl využíván jako zásobárna a zbrojnice. Velký sál v patře sloužil obytným a reprezentačním účelům, splňoval všechny požadavky komfortu středověkého bydlení. Prostor osvětluje řada oken zasazených do hlubokých výklenků s kamennými sedáky po stranách. Stěny místnosti byly kdysi patrně zatepleny dřevěným (srubovým) obložením. Podle množství nalezených keramických střepů byl palác jistě vytápěn kachlovými kamny. Obydlí bylo také opatřeno prevetem – středověkou toaletou.

Rytířský sál – je síň vystavěná ve čtvercové jižní věži. Dvojitá křížová klenba pochází  z poloviny 16. století. Tak zvané rytířské sály, v devatenáctém romantickém století sloužily více méně k rodové, historické reprezentaci. Měly demonstrovat stáří a významnou minulost rodu – či vyvolat alespoň dojem starobylosti a oné rytířskosti. Rytířský sál hradu Kámen nyní slouží jednak jako součást prohlídkové trasy, jednak příležitostným společensko-kulturním událostem.

Prostor hradní kaple – vznikl zaklenutím původní čtvrtkruhové bašty, která spojovala starý palác s věží. Domácí kaple Korunování Panny Marie sloužila svému účelu patrně do sedmdesátých let 17. století.

Chodba – na této chodbě najdete to, co souvisí s  neodmyslitelnou součástí života na panském sídle, s lovem. Jsou to jistě zbraně a trofeje, ale i výtvarné ztvárnění tohoto dávného fenoménu.

Lovecký salon – připomíná tradici myslivosti na kámenském panství. V místnosti lze spatřit unikátní kolekci loveckých trofejí z poloviny 19. století. Dominantou této místnosti jsou kachlová kamna druhého rokoka. Z období poloviny 17. století pocházejí fragmenty pozdně renesančních fresek, kterými jsou zdobeny nadokenní pásy všech místností v patře hradu.

Ložnice – je  zařízena mobiliářem a doplňky období první poloviny 19. století. Empír, tzv. císařský sloh, je přibližně časově totožný s érou Napoleonova císařství, tedy 1800-1830. Bílá kachlová kamna s klasicistním dekorem napovídají o době vzniku před rokem 1800. Již zmíněné fragmenty fresek se nejlépe zachovaly právě v ložnici. Protilehlé stěny zdobí erby Jana Kryštofa Malovce a jeho druhé ženy Marie Veroniky Švihovské z Rýznberka.

Interiér jídelny – má charakter historizujícího stylu sklonku 19. století. Návštěvníky jistě nejvíce zaujme honosný novorenesanční příborník svou bohatou, dá se říci architektonickou stavbou. K zintimnění prostoru přispívají jistě ruský samovar, vyrobený roku 1899 v jedné z tulských továre a křeslo, tzv. ušák.  Masivní novorenesanční kachlová kamna jsou již „moderního“ měšťanského typu.

Knihovna – zde je uložena knihovna zámku Petrovice u Sedlčan – do roku 1948 patřící rodinám Zhorských ze Zhoře a Bořek-Dohálských. Soubor obsahuje téměř 800 svazku z 18. a 20. století. Nejzajímavějším exponátem knihovny je Millerova mapa Čech z roku 1720.