Roku 1475 od nich koupili panství páni z Hořic, kteří přestavěli původní palác v jižní části objektu. V druhé polovině 16. století byl hrad upraven renesančně. Ve výstavním prostoru v hradním paláci je umístěna expozice o životě Kryštofa Haranta z Polžic (1564-1621), proslulého humanisty, cestovatele, vojáka a politika, renesančního kavalíra rozsáhlých kulturních a uměleckých zájmů.