Zdejšínu zámku předcházela tvrz, ktera byla poprvé zmiňovaná v roce 1374. V letech 1385-1386 je jako majitel uváděn Vít z Kralic a na začátku 15. století pak Staník z Chvališova.
Od poloviny 15. století se tvrz dostala do vlastnictví Gedeonů z Olešničky, kterou roce 1514 odkoupil spolu i se vsí, Beneš z Vahančic. Potom se dostala do vlastnictví Pernštejnů a posléze Lhotských ze Ptení. Po Bílé hoře byla
tvrz tehdejšímu majiteli, Vilému Munkovi z Ejvančic, zkonfiskována a zakoupil ji Hanuš Jakub Magnáš. V roce 1630 přešla do majetku Jana Magnáše zv. Bergamosco, jenž získal i predikát z Moravce. Právě za Magnášů z Moravce došlo v 1. polovině 17. století k nahrazení zchátralé
tvrze pozdně renesančním zámkem. V roce 1825 tehdy dvoupatrový zámek vyhořel a následně byl obnoven a přestavěn v klasicistním duchu. Tehdy bylo odstraněno i 2. patro zámku. Zároveň došlo k přestavbě původně zámecké
kaple z roku 1794 na
kostel Nalezení a Povýšení sv. Kříže.