Centrem Vrchlabí je zámek, který je obklopený parkem. Původně zde stála tvrz, severně od ní dal postavit mocný důlní podnikatel Kryštof Gendorf renesanční zámek. Tento zámek byl zajímavý tím, že byl obklopen vodním příkopem se třemi padajícími mosty. Roku 1573 ho zachvátil požár.
S obnovou se začalo až roku 1605. V roce 1624 koupil panství Albrecht z Valdštejna. Po jeho smrti se stali majiteli Morzinové. Ti snížili třípatrový zámek o jedno patro. Každé nároží je opatřeno osmibokou věží, která je ukončená cibulkovitými báněmi a lucernou. V zámku sídlí Správa Krkonošského národního parku a městský úřad. Odpočinout si můžeme v parku, jímž vede vyznačená stezka.