Vítkův Hrádek byl založen Vítkovci na počátku 14.století. Po většinu času byl v držení Rožmberků až do jejich vymření v roce 1611. Roku 1394 se stal hrad vězením pro krále Václava IV. Po zániku éry hradů byl stále využíván jako významný strategický bod na česko-rakouské hranici. Z tohoto důvodu byl v 16. století více opevněn. V 18. století hrad zachvátil požár. V roce 1869 byl hrad opraven Schwarzenberky. Hrad je poměrně dost zachovalý. Ležel totiž v hraničním pásmu a vojáci měli přímo v areálu své strážní stanoviště.
Do dnešní doby se zachovala hlavní obytná věž, která stojí na vrcholu hory. Dále pak gotické opevnění s baštami a střílnami. V současné době probíhá postupná obnova díky občanskému sdružení na obnovu Vítkova Kamene.
