Klášter z roku 1696 tvoří společně s kostelem sv. Josefa klášterní komplex. V polovině 18. století zde žilo 25 řeholníků a vyučovala se zde filozofie. Během sedmileté války klášter sloužil jako ubytovna vojáků a lazaret. K tomuto účelu během své historie sloužil ještě vícekrát. Kromě toho byl několikrát vydrancován a za první světové války zde probíhala školní výuka pro uprchlíky z Istrie. V roce 1942 byl zrušen a byl zde zřízen hostinec. Počátkem 90. let byla část kláštera opravena a františkáni se vrátili.