Na jednom zalesněném ostrohu byl v 1. polovině 14. století postaven hrad. Tehdy nosil název Královská stráž. Byl vystavěn na ochranu vimperské větve Zlaté stezky, která pod ním vedla. První zmínka o Kunžvartu je z roku 1359, kdy se připomíná jako majetek Peška z Janovic. Roku 1547 se uvádí jako pustý. Tehdy byl v celkem uspokojivém stavu. Hrad nesloužil jako stálé panské sídlo. Plnil spíš funkci strážného hradu. Tomu odpovídala jeho skromná podoba. Jedinou budovou byla mohutná hranolová věž. Ta se dochovala téměř v původním stavu. Kunžvart leží o pár metrů níž, a tak primát nejvýše položeného hradu náleží Vítkovu Kameni nad Lipenskou přehradou.