Tvrz postavena pravděpodobně počátkem 17. století za Babků z Meziříčka. Na přelomu 17. a 18. století rozšířena v dvoukřídlý barokní zámek, který však po roce 1721, kdy Olšany koupili Bruntálští z Vrbna, se změnil jen v sídlo hospodářského úředníka. V roce 1787 prodali Osteinové zámek Náboženské matici na zřízení kostela a fary. Rozsáhlá úprava objektu byla provedena v roce 1902.