Zámek je ojedinělou ukázkou toho, jak se šlechtická sídla v průběhu času měnila. Zatímco jiní svá sídla přestavovali a modernizovali, v Bystřici byly staré stavby ponechány a k nim přistavovány budovy nové, pohodlnější. Staré budovy se pak užívaly k administrativním a hospodářským účelům. V zámku naleznete gotické sklepy, budovy renesanční, nádech baroka i křídla klasicistní.

V první polovině 15. století založili páni z Tvorkova bystřickou tvrz. Ta se stala předzámčím pozdějšího renesančního zámku, který se po řadu let postupně dostavoval. Za vlády pánů z Víckova roku 1594 zámek poškodil požár. Ve velmi špatném stavu ho zdědila Bohunka z Víckova, která se provdala za Václava Bítovského z Bítova. Manželé pak zámek opravili do podoby jak je vidět dnes  a na důkaz obnovy nechali zanést nad vstupní bránu roku 1616 dva kamenné erby.

Od Lobkoviců koupil bystřické a holešovské panství roku 1650 Jan hrabě z Rottalu, jeden z nejbohatších a nejvlivnějších pánů v zemi. Rozsáhlou výstavbu na přáni Marie Amalie della Rovere di Monte l´Abbate uskutečnil brněnský architekt František Antonín Grimm. Požárem poničený zámek z roku 1789  nechal provizorně zastřešit  syn František Antonín della Rovere di Monte l¨Abbate. V zámku provedl hodně změn a založil manufakturu na výrobu fajánse a majoliky.

V roce 1827 dostal bystřické panství do rukou Olivier svobodný pán z Loudonu, potomek slavného generála. Po širokém okolí jej proslavilo pěstování ananasu v zámeckém parku. Rod Loudonů vlastnil zámek 108 let a byli posledními šlechtickými pány. Za jejich vlády se zámek opravoval ještě dvakrát. Zdobí jej malby Jana Svitáka z roku 1805 a Hanuše Schwaigera z konce 19. století. Za zámkem se nachází rozsáhlý nepřístupný park s pomníkem polního maršála Loudona. Před zámkem je státem chráněná platanová alej.

Zámecké expozice:

• Prohlídkový okruh - skládá se ze tří expozic Městského muzea - Expozice napoleonských vojáků, expozice Keramiky 18. a 19. století a expozice Historický ohýbaný nábytek

• Expozice městského muzea

• Výstavní prostory