Na místě dnešního zámku stál v 15. století vodní hrad. Jeho zakladatelem byl Dobrohost z Ronšperka.
Až do roku 1945 nesla zdejší osada jméno Ronšperk. Za Švamberků proběhla renesanční a barokní úprava zámku. Ta se dotkla hlavně fasád a dalších drobností. V místech původního opevnění byl založen park.
Posledními majiteli byli Coudenhoveové. Po roce 1945 tu krátce sídlil útvar pohraniční stráže. Chátrající objekt byl v 80. letech určen k demolici.
Záchrana přišla o devět let později, kdy se město rozhodlo památku zachránit. Začala tedy nákladná rekonstrukce, která by měla navrátit zámku podobu důstojného šlechtického sídla. Po nutných opravách tu vznikne muzejní sbírka Panevropského hnutí, další prostory bude využívat město.
