Rýzmberk vznikl ve 2. polovině 13. století. Jeho úkolem bylo střežit obchodní Řezenskou stezku. Založen byl na přání panovníka Přemysla Otakara II. a prvním majitelem byl Děpolt. Hrad byl mnohokrát upravován za držení nejrůznějších šlechtických rodů. Roku 1620 padl do rukou skupině vojáků pod vedením Baltazara Marradase. Lstí hrad získali a při odchodu jej zpustošili.
V roce 1641 se Rýzmberk neubránil řádění Švédů. Hrad byl ve velmi špatném stavu a na císařský rozkaz byl pobořen. Roku 1671 koupil panství Volf Maxmilián Lamingen, který je znám z Jiráskových Psohlavců jako Lomikar. Po něm se stali majiteli Stadionové. Ti se v 19. století pustili do úprav. Vytvořili zde park, výletní restauraci a čtyřhrannou rozhlednu, která slouží v dnešní době jako vyhlídková věž.