Nejstarší písemná zmínka o Dolní Rožínce pochází z roku 1349. V letech 1503 - 1589 byla majetkem pánů z Pernštejna. V roce 1731 připadla rodu Mitrovských. Koncem 16. století byl na místě zdejší tvrze vybudován renesanční zámek. K největšímu rozkvětu zámku a okolí došlo v letech 1781 - 1789 za Jana Nepomuka.Ten dal zámek klasicistně přestavět. V roce 1808 zámek vyhořel, ale byl znovu vystavěn do dnešní dvoupatrové  podoby čtvercového půdorysu se čtyřmi křídly. Stavbě dominuje barokní vížka s cibulí a rodové heslo. Až do roku 1945 sloužil zámek jako letní sídlo Mitrovských. Dnes je v něm umístěna základní škola.