Původně hrad ze 13. století byl nově přestavován v polovině 15. století a znovu v letech 1580 - 1583, věž nad branou dostavěna roku 1744. Roku 1806 - 1811 dal zámek přestavět děd básníka R. M. Rilkeho F. Rilke do dnešní podoby.

Z původního hradu zachovány 2 kruhové bašty v sz. a jv. nárožích. Udržovaný čtyřkřídlý patrový (jižní křídlo dvoupatrové) zámek kolem obdélníkového nádvoří. Nad vstupní branou třípatrová věž. Budova zdobena nadokenními trojúhelníkovými římsami, nádvoří opatřeno v přízemí arkádami. Před jižním průčelím zámku terasa s francouzskou zahradou, okolo zámku rozsáhlý anglický park se starou lípou (700-800 let), podle níž dostala Kamenice své jméno. Na zámku býval hostem básník R. M. Rilke, Kamenice je rodištěm V. Nováka a J. Kamenického.