Název obce pochází zřejmě ze staroslovanské doby, ze jména Jaroš. Vznik Jarošova se však datuje kolem roku 1350 - 60. Byl to zřejmě pouze dvůr nebo tvrz v západní části obce. První písemná zmínka je z roku 1366, kdy se biskup Petr z Litomyšle přel s klášterem Podlažickým a jeho opatem Domoslavem o hranice. K vyřízení tohoto sporu byla jmenována komise - Dluhomysl, kustot kapituly Litomyšlské a měštan z Litomyšle Brunon na jedné straně a probošt kláštera Podlažického Havel s Vilémem Křeše ze Smrček na straně druhé. V případě neshody měl rozepři rozhodnout pátý - rytíř Albert z Jarošova, což svědčí o jeho významu. Zbytky valů tvrze jsou na západním okraji obce.

Na přelomu 14. a 15. století si zřejmě koupil ves Jarošov (spolu s Budislaví, Mladočovem a Desnou) rytíř Toulovec z Třemošné. Toulovec byl osoba opředená mnoha pověstmi i známá z historických záznamů. Své bohatství získal údajně loupením převážně na Moravě a před odvetným nájezdem Moravanů se skrýval v těžce přístupných Budislavských roklích a skalách, z nichž část leží na katastru Jarošova. Nejznámější útvar je zde pískovcová plotna stolu a čtyři sedadla - Toulovcův stůl. Ve svém loupeživém mládí patrně bydlel v Jarošovské tvrzi. V stáří se stal počestným litomyšlským občanem, který zde vykonal mnoho dobrých skutků. Zemřel asi roku 1412.

• Písemná zmínka o Jarošově jako o vsi pochází až z roku 1433. V roce 1480 ves Jarošov koupilo město Litomyšl.

• Nová katastrální mapa byla pro Jarošov pořízena v roce 1839. V roce 1890 bylo v Jarošově 101 domů a 495 obyvatel.

• V prvé polovině 19. století byla v Jarošově evangelická škola. V roce 1978 byla postavena dvoutřídní obecná škola.

• Obec byla elektrifikována v roce 1934, první stavba vodovodu pochází z roku 1936.