Na místě dnešního zámku stával ve 13. století královský hrad. Střežil důležitý bod přes Vltavu, čímž se stal oporou královské moci. Hlavní částí hradu byl velký palác a věž, která hlídala nejvíce ohroženou stranu. Ve 14. století byl hrad rozšířen. Roku 1508 postihl hrad požár a byl novými majiteli ze Švamberka přestavěn na renesanční zámek. Za třicetileté války zde hájila hradby stavovská posádka proti císařskému vojsku.
Dalšími majiteli sídla byli Eggenberkové a po nich Schwarzenberkové. Ti zde vytvořili reprezentativní sídlo své orlické větve. Po dalším požáru byly objekty zvýšeny o třetí patro. Dnešní podobě vděčí návrhu pana B. Grubera, který se inspiroval ve stylu romantické gotiky. V interiérech zámku je muzeum, které se věnuje K. Schwarzenberkovi, což je majitel zámku.
Cenné jsou reprezentační sály s dobovým zařízením a rodovými uměleckými sbírkami. U zámku se nachází skleník se sbírkou fuchsií, přírodně krajinářský park s cizokrajnými a domácími dřevinami. V západní části parku leží pseudogotická Schwarzenberská hrobka. Radost vám udělají i pávi, kteří se po parku volně pohybují.
