Osada měla dostat název podle množství raků v potoce Rakovci. Patří mezi nejstarší osady v okolí, protože už v roce 1235 patřila k Doubravnickému újezdu a byla majetkem kláštera.

V roce 1582 zde měl dva lány Musil. Podle pověsti tu držel právě rytíř Musil hamry i mlýn a z okolních vsí vymáhal desátky. Proto ho Pernštejnové uvěznili na svém hradě, kde Musil zemřel. Hamry a mlýn pak měla zničit povodeň. Pravděpodobně však šlo pouze o šrotovací mlýn a puchýrnu, kde se drtila železná ruda pro štépanovské železárny. Ta se těžila v trati „V rudných dolech“ naposledy v letech 1860-63.

V letech 1850-1964 bylo Rakové osadou obce Klokočí, od roku 1964 osadou a nyní část obce Olší.

V Rakovém se zachovaly zbytky Šiborovy továrny na marmeládu, která zpracovávala plody z blízkých lesů. Hynek Šibor (1908-87) ji založil před 2. světovou válkou. Na návsi je kaplička sv. Anny s dřevěnou vížkou, u níž se každoročně koná pouť. Mramorový kříž v osadě pochází z roku 1870.