Hrad založili kolem roku 1300 páni z Budětic. První zmínka o hradu pochází z roku 1380. Tehdy Rabí vlastnil Půta Śvihovský. Půta nechal zaživa zazdít tři chůvy a měl prsty i v alchymistických pokusech, od kterých si sliboval výrobu kamene mudrců. V letech 1420-21 hrad dvakrát dobyli husité. Při druhém obléhání přišel Jan Žižka o druhé oko.
Rýzmberkové začali hrad mohutně goticky přestavovat. Zadlužili se a roku 1547 museli Rabí prodat. Hrad se stal majetkem Viléma z Rožmberka a potom Chanovských z Dlouhé Vsi. Rabí pak sloužilo jen jako zdroj stavebního materiálu. Na rozkaz Ferdinanda III. měl být zbořen, ale nakonec byl ušetřen.
Posledními šlechtickými majiteli byli Lamberkové. Ti roku 1920 darovali zříceninu Spolku pro zachování uměleckých, historických a přírodních památek. Po roce 1945 se stal hrad majetkem státu. Hrad, který je národní kulturní památkou je přístupný veřejnosti. Za pozornost stojí expozice středověkých kamnových kachlů a archeologických nálezů.
