Postaven v polovině 18. století Mitrovskými z Nemyšle jako správní centrum bystřického panství, sloužil jen jako kanceláře a úřednické byty. Majetkem Mitrovských zůstal až do roku 1920.