V 2. polovině 13. století založen Častolovem nebo Chvalem z rodu Ronovců (nazývajícím se nadále z Lipé) vodní hrad Lipý. Nejznámějším držitelem byl Jindřich z Lipé, který výrazně ovlivňoval politické dělení v prvních třech desetiletích 13. století. Po něm až do poloviny 17. století v majetku Berků z Dubé. V 16. století vodní hrad přestavován v renesanční zámek s dvoupatrovým palácem pokrytým psaníčkovým sgrafitem. Po bitvě na Bílé hoře v majetku Albrechta z Valdštejna a Rudolfa Kounice, roku 1643 vypleněn Švédy a pak již jen částečně udržován; nesloužil již jako panství. V 19. století využíván kartounkami, jako rafinérie cukru, po 2. světové válce budova prázdná, roku 1957 stržena. Červený dům postaven roku 1583 za Jiřího Berky z Dubé jako letohrádek, roku 1883 obnoven Ed. Steffenem.