Nynější dědina Hrabová vznikla asi v době, kdy se osady, tzv. Lhoty zakládaly, totiž v 11. až 12. století. Její původní název zněl Lhota (Lhuota). Lhoty povstaly tím, že pán dal kus lesa k vykácení a užívání a za to určitou dobu - lhuotu - obyvatelé byli od roboty a desátků osvobozeni. Poněvadž osad téhož jména i na hejtmanství zábřežském bylo několik, tu za účelem přesného označení nazývána Lhota Habrová. Habr, místním názvem slova hrab či hrabek, proto lid neříkal Habrová nýbrž Hrabová, kterýž název i úředně později přijat. Název ten povstal od samého habrového lesa, který ji obklopoval. Názvosloví Lhota, jako slovo sevšeobecnělé za účelem zkrácení se během času zamlčovalo, konečně naň zapomenuto a užíváno jen přívlastku Hrabová.

Původní jádro Hrabové leží u silnice z Úsova přes Dubicko do Zábřeha. Vitošov leží o dva kilometry severněji. Nad ním se zvedá vysoká a již z dálky viditelná stěna vápencového lomu, která se stále více zakousává do kopce pod Bílým kamenem (588 m).