Hrad byl postaven až po husitských válkách. Roku 1465 se zde sešlo šestnáct katolických pánů. Ti zde vytvořili odbojnou tzv. Zelenohorskou jednotu proti Jiřímu z Poděbrad. Za Šternberků byl hrad přestavěn na raně barokní zámek. V roce 1818 tady byl nalezen Zelenohorský rukopis. Falzifikát připisovaný Václavu Hankovi, Josefu Lindovi a Františku Hořčičkovi. Tento rukopis měl posílit národní sebevědomí. Potom se na Zelené Hoře vystřídalo mnoho šlechtických rodů. Byli to zejména Martinicové, Colloredové a Augsperkové.
V 50. letech 20. století sem byly přiveleny oddíly PTP. To znamenalo Pomocné technické prapory. To byli lidé politicky nespolehliví, kterým dělnická strana nemohla svěřit zbraň. V interiérech zámku se v hlavním sále zachovala nástropní freska, divadelní sál a bývalá hradní kaple sv. Antonína Paduánského.
