Na místě dnešního zámku stála již v roce 1177 vodní tvrz Oldřicha ze Žinkov. Oldřich byl syn plzeňského purkrabího Drslava, který byl zakladatelem rodu Drslaviců. Oldřich se roku 1192 zúčastnil tažení do Palestiny. Na této křížové výpravě zahynul. Jeho potomci založili hrad Potenstejn a pod ním městečko.
V tomto městečku se 1. 11. 1419 shromáždili ozbrojení husité. Ti se pak vydali směrem na Prahu. Cestou došlo k jejich prvnímu boji v dějinách. Bylo to na Holém vrchu u Poličan. Roku 1624 zdědil tvrz Vilém starší z Klenové. Začal přestavovat tvrz na zámek. Potom zde vládli Vrtbové, Lobkovicové a Jan z Harrachu.
Roku 1897 koupil zámek architekt rytíř Karel Wesselý. Ten sídlo upravil na romantický pseudoslohový objekt podle návrhů vídeňských architektů Helmera a Fellnera, stavitelů mnoha divadelních budov v celém tehdejším rakousko-uherském mocnářství. Potom následovaly další úpravy a roku 1916 koupil zámek známý podnikatel Karel Škoda. Dnes je zámek v soukromém vlastnictví.
