V roce 1392 se připomíná tvrz pánů z Kunštátu. Zpustla za pánů z Cimburka v 1. polovině 15. století. Zámek Jimramov, sídlo Katharinů z Katharu a Belcrediů, je mladším ze dvou panských sídel ve starobylém městečku Jimramově.
Dnes se opět nachází v soukromém vlastnictví původních majitelů, takže veřejnosti není přístupný.
Vnější obhlídku zámku je proto vhodné kombinovat s návštěvou jiných pamětihodností v okolí, mezi nimiž dominují pitoreskní zříceniny hradu Skály, románský kostel ve Vítochově a zbytky trojice významných pernštejnských hradů – Pyšolce, Aueršperka a Zubštejna – za přehradní nádrží Vír dále na jihu