První zmínka pochází z roku 1402 v souvislosti Borešem Hrabětem z Oseka. Za husitských válek zde pobýval Jakoubek z Vřesovic. Ten podnikal po kraji loupežné výpravy a získanou kořist ukrýval na hradě. Po roce 1437 se zde usadili Šlikové, kteří hrad přestavěli. Od nich koupil hrad král Jiří z Poděbrad a roku 1446 se hradu zmocnili páni z Plavna. Královské vojsko hrad dobylo, ale páni z Plavna jí získali opět zpět a založili pod ním městečko. Pro dluhy však museli hrad prodat.
V době stavovského povstání se zde usadil odpůrce Habsburků Linhart Colona z Felsu. Po porážce stavů získal objekt Heřman Černín z Chudenic. Potom městečko vypálili Švédové a hrad zachvátil požár. Po těchto událostech byla Andělská Hora definitivně opuštěna.Do dnešní doby se zachovaly dvě vstupní brány, nádvoří a zříceniny obytného paláce.
