Zdejší hrad se poprvé objevuje v písemných záznamech roku 1264. Okolí hradu nebylo zrovna bohaté, za to lupiči se zde hemžilo. Mezi lupiče se řadili majitelé hradu, proto dal Bavorský vévoda Libou rozbořit. Roku 1426 koupili panství Zedtwitzové, kteří jej drželi až do roku 1945. I tato šlechtická rodina měla v rodinném kruhu loupežníka. Jiří Zedtwitz loupil a vraždil, měl spory s Chebem a za to byl vězněn v Bílé věži na Pražském hradě. Po propuštění škodil dál a Libá byla opět pobořena. Jiří utekl do Bavorska a později se s Chebem smířil. Jeho dobrodružný život skončil v okamžiku, kdy ho zastřelil vlastní zbrojnoš.
Rodina Zedtwitzů přestavěla hrad na renesanční zámek. Potom zámek zpustošili Švédové. Následovala barokní a rokoková přestavba. Dnes není zámek v dobrém stavu. K vidění jsou pouze exteriéry.
