Počátky hradu jsou kladeny až do 10. století. Heřman z Ralska je znám ve 12. století. Jméno Rálsko je poprvé uváděno až v roce 1380, ale taky je možné, že sídlo bylo na místě dnešní usedlosti Velké Ralsko, neboť
hrad roku 1426 ještě nestál. Nechal ho zbudovat Jan Chudoba z Ralska za husitských válek. Na konci 15. století byl
hrad opuštěn. Z původní stavby se dochovala pouze obytná část hradu.