Severně od gotické tvrze, kterou opustil, postavil si v letech 1545 - 1546 Kryštof Jandorf z Jansdorfu renesanční zámek podle slezsko-saských vzorů. V roce 1573 objekt vyhořel, jeho obnova byla dokončena až v letech 1605 - 1614. Šlo o zámek obklopený vodním příkopem, zasypaným až v 30. letech 19. století. V roce 1624 vrchlabské panství se zámkem koupil Albrecht z Valdštejna; po jeho násilné smrti sem přišli na dlouhou dobu Morzinové. Vzhled zámku se částečně změnil přestavbami na konci 19. a ve 20.