Podhůří Brd si ve středověku oblíbil mocný rod Buziců, jehož kořeny sahají až k roku 1100. Dnešní Rožmitál vděčí těmto pánům za svůj městský znak. Roku 1250 si zde Oldřich z rodu Buziců vystavěl mezi bažinami blatný hrad. Na severozápadní straně byl opatřen velkým rybníkem, který je dnes znám jako Podzámecký.
Snad podle šípkových růží planě rostoucích v malebném údolí byl hrad nazván, tehdy podle německé módy, Rosenthal. Buzicové se začínají psát podle sídla a zakládají slavný rod Lvů z Rožmitálu. Osobností rodu se stala Johana, druhá manželka krále Jiřího z Poděbrad. Slula státnickou moudrostí, náboženskou tolerancí a hlavně láskou k vlasti. Od zámku po břehu Podzámeckého rybníka až do Starého Rožmitálu vede Alej Johanky z Rožmitála. Další člen rodu Zdeněk Lev z Rožmitála si vedl asi nejlíp ze všech. Tento znamenitý politik a nejvyšší purkrabí pražský vedl nádherný, ale náročný život. Rozsáhlé rožmitálské panství zadlužil a roku 1550 získává panství Florián Grysperk z Gryspachu. Za jeho panování dostalo město četná privilegia. V době působení Floriána došlo k úpravám zámku, k němuž byl přistaven grysperkovský palác. Po bitvě na Bílé Hoře bylo rodu odňato veškeré jmění. Někteří příslušníci tuto tíživou situaci neunesli a údajně hromadně spáchali sebevraždu. Od roku 1623 objekt vlastní pražské arcibiskupství. V současnosti prochází zámek rekonstrukcí a není veřejnosti přístupný.