Již v roce 1195 stálo na vysokém kopci strážní místo na ochranu Zlaté stezky. To bylo nahrazeno po polovině 13. století raně gotickým hradem. Tento hrad byl pravděpodobně vystavěn zvíkovským purkrabím Purkartem z Janovic. Roku 1378 se stal Vimperk královským majetkem. Václav IV. hrad postoupil Kaplířům ze Sulevic. Dalšími majiteli byli Malovcové z Malovic a Rožmberkové.
Za Rožmberků se objekt renesančně upravil a rozšířil. Roku 1619 hrad vypálilo stavovské vojsko. Jáchym Novohradský nechal hrad opravit a doplnil ho o nové zámecké křídlo. Kvůli dluhům o panství přišel a to přešlo do majetku Eggenberků. Po jejich vymření přešlo do rukou Schwanzenberků. Zámek se skládá z Horního zámku, původního hradu a Dolního zámku. Dále zde můžeme spatřit předsunutou pevnost zvanou Haselburg, která vznikla roku 1497 jako reakce na rychlý vývoj palných zbraní.
Dnes se v zámku nachází Muzeum Správy Národního parku a CHKO Šumava s expozicí zaměřenou na přírodu a na dějiny města. Tato oblast je plná technických památek a známá výrobou skla.
