Hrad založili pravděpodobně na počátku 14. století páni z Velhartic. Vybudovali tu mohutný věžovitý palác sloužící bydlení i obraně a opatřili jej jednoduchou hradbou a schodišťovou věží. Jejich nástupci se stali ve 2. polovině 14. století páni z Rýzmburka. V nejisté době kolem roku 1400 bylo Rabí rozšířeno a znovu opevněno. V letech 1420 a 1421 hrad obléhal Jan Žižka a při druhém útoku zde přišel o oko. Roku 1479 přešlo panství na zemského sudího Půtu Švihovského. Za jeho vlády bylo podhradí povýšeno na město a opatřeno hradbami. Opět bylo rozšířeno opevnění hradu a vystavěny další obytné budovy. Na stavbě se podílel také stavitel Benedikt Ried. Půtovi synové však byli nuceni roku 1549 panství prodat. Po nich se stal majitelem Rabí Vilém z Rožmberka. Na hradě však již tehdy pobývali jen úředníci. Vilém panství prodal roku 1563; hrad nadále chátral a na začátku třicetileté války byl vypleněn. Později sloužil jako zdroj stavebního kamene. Poslední šlechtičtí majitelé Lamberkové darovali zříceninu v roce 1920 Spolku pro zachování uměleckých, historických a přírodních památek v Horažďovicích.