Počátky hradu jsou kladeny až do 10. století. Heřman z Ralska je znám ve 12. století. Jméno Rálsko je poprvé uváděno až v roce 1380, ale taky je možné, že sídlo bylo na místě dnešní usedlosti Velké Ralsko, neboť hrad roku 1426 ještě nestál. Nechal ho zbudovat Jan Chudoba z Ralska za husitských válek. Na konci 15. století byl hrad opuštěn. Z původní stavby se dochovala pouze obytná část hradu.