Zde byla ve 13. století vybudována tvrz. Ta byla v 16. století přestavěná renesančně. Roku 1602 získal tuto tvrz Petr Vok, který ji upravil na své letní sídlo. O osm let později daroval tvrz T. Hockovi. Ten dal tvrz nově upravit. Dvůr, kostel a faru nechal opevnit unikátní hradbou se sedmi válcovými baštami. Do dnešní doby se jich dochovalo pět.
V literatuře se uvádí, že Žumberk je jednou ze tří opevněných vesnic v Evropě dochovaných do dnešní doby. Za Buquoyů po roce 1620 se tvrz užívala jako úřednické sídlo. Roku 1817 byla rozparcelována, přestavěna a doplněna o nové objekty. Původní vzhled vrátila areálu generální rekonstrukce, která zde proběhla v letech 1971-74. Po dokončení zde byla zřízena expozice dějin objektu a lidového malovaného nábytku Jihočeského muzea.
Za pozornost stojí historické interiéry, rožmberský salon nebo rytířský sál. Zpřístupněny jsou dvě bašty a další se v současné době obnovují.
