Klášter byl založen roku 1345 Hynkem Berkou z Dubé pro řeholníky řádu sv. Augustina. Chrám sv. Václava je až z roku 1712. Za husitských válek byl klášter vypálen. Roku 1624 daroval Albrecht z Valdštejna řeholníkům Bezděz. Těm se však na Bezdězi příliš nelíbilo a vrátili se zpět do Bělé. Po smrti Albrechta z Valdštejna klášter chátral. K jeho obnovení došlo kolem roku 1650 architektem Binago a dokončení provedl v roce 1659 stavitel Baltazar Casanova.