Původní tvrz postavená na vysunutém ostrohu, přístupném jen ze strany od města. Přístup od tvrze chránil dlouhý vodní příkop, překlenutý padacím mostem v místech dnešních vstupních vrat do zámku. Tvrz byla rozšířena za Šternberků a Kravařů (ve 2. pol. 14. stol.), takže v této době bylo možno hovořit již o hradu. Další z majitelů Zábřehu - Tunklové, hodlali z hradu vybudovat rodinné sídlo.

Z velké přestavby se dochovala velká pískovcová deska s erbem rodu Tunklů - rybou - v zámeckém průjezdu. Jan z Boskovic nechal postavit nad příjezdem do zámku poschodí se čtyřmi světnicemi a nechal vedle zámku směrem k náměstí zřídit velkou renesanční zahradu.

Po roce 1620 připadlo zábřežské panství Karlovi z Liechtenštejna, který v Zábřehu ponechal jen správu panství. V letech 1727 - 1736 bylo přistavěno severní zámecké křídlo. Od roku 1849 patří budova zámku městu, které v něm zřídilo sídlo úřadů /soud, okresní hejtmanství/. Dnes, po provedených opravách skončených v roce 1991, se zámek stal sídlem Městského úřadu.