Na místě dnešního zámku stával od poloviny 14. století hrad Skála. Název se pletl s jiným hradem stojícím nedaleko. Pro odlišení byly v 17. století hrady přejmenovány na Malou a Hrubou skálu.
Výšinný skalní hrad nechal nejspíš postavit Hynek z Valdštejna kolem roku 1353. Doménou tohoto typu hradů je obranný systém, který důmyslně využívá přírodních podmínek. V roce 1469 byl hrad dobyt vojsky krále Jiřího z Poděbrad. Tehdy totiž Skála patřila Zajícům z Hazmburka, kteří byli zásadně proti husitskému hnutí. Vše se nakonec vyřešilo mírovou dohodou a hrad stál dále nedotčen. Jeho podoba se zásadně změnila až z přičinění rodu Smiřických, kteří hrad i zdejší panství získali v roce 1524. Tak se z hradu stal pohádkově krásný zámek, který rod lépe reprezentoval.
Předhradí s někdejším zadním hradem spojují dva mosty. Po překlenutí obou roklin se dostáváme na nádvoří samotného zámku, které zdobí hranolová věž s ochozem. Nádvoří je ze tří stran uzavřeno zdmi a směrem na severovýchod se otevírá do krajiny, působí tak jako obří balkon nad překrásnou zahradou. Přes hradbu pískovcových skal dohlédneme až k horizontu Ještědsko-kozákovského hřbetu a panoramatický pohled směrem k jihu uzavírají Trosky.
