Postaven byl až po polovině 14. století pány z Klinštejna, zvanými pak z Ronova, od roku 1416 patřil Berkům z Dubé. Z nejstaršího, horního hradu se nedochovaly žádné zbytky. Dochované zdivo pochází až z pohusitské doby, kdy hrad patřil Vilémovi z Ilburku. V 17. století opuštěn, ve Stvolínkách postaven zámek.