Velhartice se dříve jmenovaly Vilhartice po blíže neurčeném Vilhartovi. Hrad nechal postavit Bušek z Velhartic, který byl komorník a průvodce kralevice Karla. Hrad dal postavit mezi lety 1290-1318. V době odboje proti Jiřímu z Poděbrad se zde několik roků ukrývaly korunovační klenoty. Jádrem gotického objektu byl Rajský dům, což byl věžovitý palác. Tento palác byl v roce 1430 spojen s nově přistavěnou hranolovou věží,které se říkalo Putna. V té době byl most ojedinělým řešením v hradní architektuře. Tyto úpravy se uskutečnily za panování Menharta z Hradce. Ten byl nejvyšším purkrabím. Měl vysoké ambice se zmocnit vlády v Čechách. Po pánech z Hradce vlastnili Velhartice Švihovští z Rýzmberka a Zdeněk Lev z Rožmitálu.
Po stavovském povstání získal hrad císařský generál Baltazar de Marradas. Ten prodal Velhartice známému dobrodruhovi Martinu Huertovi. Poškozený hrad přestavěl a přibyl tzv. Huertův palác. Pak se tu vystřídalo několik majitelů, kteří neměli velký zájem o hrad. Ten se postupně měnil ve zříceninu. V posledních letech zde za běžného návštěvnického provozu probíhá rekonstrukce. Můžeme zde spatřit hradní exteriéry s unikátním středověkým mostem. V Huertově paláci je stálá expozice zaměřená na zábavu a hry v době renesance. V objektu se konají výstavy i další akce.
