Vznik Hrubé Skály je dosud tajemstvím. Předpokládá se, že byl založen kolem r.1350 Hynkem z Valdštejna. Původně se hrad nazýval pouze Skály. Husitské války Hrubou Skálu nezničily a její majitelé sehráli v Čechách dost důležité role (např.Zikmund Smiřický a Albrecht Jan Smiřický). Feudální doména Smiřických náležela tehdy k největším ve střední Evropě. Koncem 16. století nechali přestavět skalský hrad v renesanční zámek. Plán Albrechta z Valdštejna, aby Hrubá Skála tvořila hlavní strategický uzel celého Frýdlantského vévodství, zůstal však nesplněn. Po požáru v r. 1710 došlo k jeho nové barokní úpravě. Roku 1821 jej od Valdštejna koupil pan Lexa z Aehrentalu. Zámek, jehož současná podoba je novogotická od r.1960, sloužil jako rekreační zařízení. Nyní je provozován jako hotel s ubytováním.

Jsou známé pověsti o "panenském vězení", Dračích skalách a známá je také pověst o dobývání hradu Žižkou - jeho známé rčení, že skála patří čertu. Prakticky přistupoval k držbě hradu známý Albrecht z Valdštejna, který zde věznil své neposlušné příbuzné, např. bankrotáře Hanibala. Dále zde měl umístěn valdštejnský poklad (v odborné literatuře existuje úplný seznam). Zámek je zbudován na pískovcových skalách až 60 m vysokých.