První zmínka je z roku 135O,majitel Vlastibor z Hrabí. R 1371 měl dvůr Mikuláš Nikl, který roku 1374 ho prodal Mechovi ze Lhoty. V roce 1358 prodal Dětřich z Pateřína 1 a 1 lánu Beneši z Búrova. Při dělení panství bratří Zdislava, Mecha a Vítka ze Lhoty, dostal poslední největší podíl na Hrabech Dětřich z Pateřína a připojil jej k panství červenolhotskému.

Roku 1456 daroval král Ladislav ves Hraby spolu se Střemeníčkem, Slavětínem, Javoříčkem a Pateřínem Karlovi z Vlašimě a Úsova. Před rokem 1695 patřila větší část Hrabí k panství Červená Lhota. Od roku 1407 tvořila Červená Lhota s Hraby katastrální obec asi do roku 1695, kdy syn Albrecht z Bukovky Zikmund prodal panství s polovicí Búrova a podílem na Hrabech, Řimicích a Hvozdíčku Františkovi – hraběti z Hodic na Búzově. Před rokem 1848 byla větší část obce spravována z Bouzova, menší část příslušela k panství Bílá Lhota.                                                

 Podrobnější historii obce naleznete na http://www.hrabi.kx.cz/