Hrad byl založen v 1. polovině 12. století pány z Vohburgu. Roku 1165 byl přebudován císařem Fridrichem Barbarossou na falc. Po připojení k Českému království se stal královským majetkem. Roku 1742 byl hrad poničen francouzskými vojsky. Jádro hradu tvoří Černá věž, která byla součástí románského opevnění. Název získala podle kvádrů sopečného tufu, který stavebníci těžili na Komorní hůrce, což je naše nejmladší sopka.
Nejcennější částí areálu je románsko-gotická kaple sv. Erharda a sv. Uršuly. Z barokní přestavby se dochovaly cihlové hradby. V 19. století sloužil areál jako skládka odpadu ze zbouraného městského opevnění.
Za pozornost stojí stálé expozice věnované archeologii na Chebsku a expozice vývoje chebského kamnářství.