Zámek se nachází na svahu zvedajícím se jihozápadním směrem za zábřežským nádražím. Leží uprostřed malého parku ve stejnojmenné, původně samostatné obci Skalička, která je od poloviny minulého století součástí Zábřeha.

Od počátku 14. století je Skalička včleněna do lénního systému olomouckého biskupství, přičemž náleží k jeho mohelnické a později k mírovské provincii. Nejstarší dějiny obce jsou tak svázány s dějinami biskupského manství, přičemž k jeho vymazání z lénního registru a převedení do osobního vlastnictví leníka došlo až v roce 1874.

Lze předpokládat, že v obci existovalo panské sídlo již počátkem 15. století. První dochovanou písemnou zmínkou o obydlí držitele léna je však až listina z roku 1639, kterou Lorenc de Conforto přijímá od olomouckého biskupa Leopolda Viléma lénem „tvrz a dědinu Skalička“.

Po jeho smrti v roce 1649 se léno dostalo do rukou biskupského rady a kanceláře Jana Kaltschmidta z Eisenberku, který jej záhy prodává Václavu Vilému Hnátkovi z Wegfurtu, hejtmanu na hradě Mírov. Hnátkové se tak na dalších 71 let stali držiteli tohoto manského statku, přičemž za posledního mana z tohoto rodu – Jana Adama – byl nad vesnicí postaven malý přízemní barokní zámek, či spíše barokně přestavěna původní již existující tvrz. Poté co Hnátkové z Wegfurtu na Skaličce „po meči“ vymřeli, získali v roce 1723 uvolněné léno bratři Bartodějští z Bartoděj. V letech 1785 až 1891 vlastnil zámek a související pozemky rod Chorynských z Ledské, za nichž byl zámek přestavěn v pozdně barokním slohu. V následujících letech zámek často měnil majitele, po roce 1948 byl zestátněn a později adaptován na sídlo administrativy plemenářského podniku. V současné době je zámek nepřístupný a noví vlastníci postupně provádějí jeho rekonstrukci.