Byl zbudován koncem 14. století jako augustiniánský klášter, již roku 1425 se však dostal spolu s Lanšperkem do světských rukou. Roku 1507 připomínán v závěti Viléma z Pernštejna poprvé jako zámek; upravený v roce 1601 a později.