První zmínka o zdejší vsi pochází až z roku 1339, protože zemské desky z předchozích let shořely. Tehdy část příslušela Brandýsu nad Orlicí, který tehdy náležel Tasovi z Boskovic a druhá část vsi náležela místnímu zemanskému rodu. Hynek z Rájce držel Rájec v letech 1406-1449. Pravděpodobně zde byla v nejvyšší části i tvrz, která ale není doložena, ani se z ní nezachovaly žádné stavební pozůstatky. O její existenci se zmiňuje pouze A. Sedláček ve svém místopisném slovníku. Po tomto roce zprávy o Rájci mizí a znovu se uvádí až v roce 1574 jako příslušenství Přestavlk, které tehdy prodával Mikuláš z Bubna Karlovi Žampachovi z Potštejna. Od 16. století patřil Rájec k Přestavlkám a vystřídalo se zde několik majitelů; Matěj Hložek z Žampachu, Otík z Bubna, Zdeněk ze Žampachu a Friedrich z Oppestdorfu. Od roku 1627 patřily obě vesnice Janu Otíkovi Bukovskému z Hustířan a po něm jeho synům. Rod tu sídlil celé století. Bukovští prodali svůj majetek roku 1727 Václavu Rousovi z Lipna a jeho manželka prodala přestavlcký statek roku 1762 Elišce Carviani z Kostelce nad Orlicí a tím se obce dostaly k panství kosteleckému.