Někdejší hrad Skály poblíž Jimramovských Pasek patřil v 2. polovině 14. století Archlebovi ze Stařechovic a Kunštátu. Ten vlastnil také část Jimramova, kde v roce 1361 zřídil nadaci a v roce 1365 koupil od Jimrama z Pernštejna jeho část Jimramova. Když se oženil Archlebův syn Erhard, dal Archleb v roce 1379 do zástavy za věno synovy manželky také Pavlovice.

Obě části se spojily pod jednu vrchnost v roce 1462, kdy získal skalskou část Jan z Pernštejna. Když bylo pernštejnské panství v roce 1500 dělena na díly, byly Pavlovice přičleněny k novoměstko-jimramovskému dvojdílu. Později se začala jimramovská část utvářet samostatně a Pavlovice se staly součástí jimramovského panství.

Dvakrát se na krátkou dobu Pavlovice staly samostatným a malým panství, a to v letech 1707-1718, kdy je získal Jan Esaiáš z Nubern, a v letech 1746 - 1754 je získal Frant. August, sv. p. z Waldorfu. Od této doby zůstaly Pavlovice již trvale u jimramovského panství.
Již v roce 1565 je v Jimramovských Pavlovicích zmiňován vrchnostenský dvůr. V roce 1834 byl nově vystavěn, ale již v roce 1835 shořel i se stodolami. V roce 1840 vznikla při dovře palírna, lihovar. V obci byl hostinec a dominikální mlýn a od r. 1804 také pila. Asi v roce 1750 dostala obec svou pečeť, ve znaku má poprsí sv. Pavla. Od osobního jména Pavel bylo také jméno obce utvořeno. Přívlastek Jimramovské dostala obec Pavlovice v novější době pro snažší rozlišení od obcí stejného jména. 
V r.1921 byl tu založen sbor dobrovolných hasičů. V r.1923 založena obecní knihovna.