Zámecký park dal vybudovat Přemek III. ze Žerotína ve třetí čtvrtině 17. století. Tato okrasná zámecká zahrada vznikla v souvislosti s výstavbou nového reprezentativního zámku. Vedle ovocného sadu je u tohoto zámku květinová zahrada, která je poprvé písemně doložena v roce 1682. Šlo již nepochybně o barokní okrasnou zahradu, s největší pravděpodobností o tutéž, která je vyobrazena roku 1739. Když roku 1833 koupil vízmberské panství od náboženského fondu Antonín Bedřich hrabě Mitrovský z Nemyšle, měl už za sebou rozhodující část své kariéry ve státní službě i své životní dráhy. Přesto se tato nesmírně činorodá osobnost nesmazatelně zapsala do dějin zdejšího panství. Hrabě věnoval velkou pozornost místním průmyslovým podnikům a zvlášť výrazně se podepsal na podobě zámeckého parku v Loučné nad Desnou.