Zámek byl postaven v roce 1757 v barokním slohu, poslední přestavba byla v roce 1913. Od 2. května 1924 je zámek ve vlastnictví obce Velké Opatovice. 2. ledna 1973 částečně vyhořel. Dostavba pod názvem Fosili podle návrhu Ing. Zdeňka Fránka byla zahájena v roce 1990. V roce 2008 byla  rekonstrukce této části zámku dokončena a je v ní umístěno Moravské kartografické centrum, unikátní projekt nejen v celé ČR, ale i v Evropě.