Na skalnatém ostrohu nad koupalištěm, na místě bývalé tvrze, stojí chvalkovický zámek. Tvrz která se připomíná již ve 14.stol., byla postavena z kamene a částečně sroubena ze dřeva. Patřila pánům Chvalkovic, v 15.stol. ji převzali páni z Hustířan, pak přešla do rukou Jana staršího Dobřenského z Dobřeni, který ji koupil v roce 1600. Za vlády Dobřenských, patrně někdy před rokem 1768, byl na místě tvrze postaven Ferdinandem Rudolfem Dobřenským zámek s vysokou střechou a věží.

Při opravách v roce 1825 nechala Kateřina Zaháňská strhnout a odstranit poslední zbytky tvrze. Z této doby pochází též pověst o tajné chodbě, kterou bylo možno opustit zámek případě nebezpečí.

V letech 1830-1833 pobývala na zámku Barunka Panklová v rodině správce Hocha. Při dalších opravách byla věž, která původně stála zámku, zbořena a vzácný hodinový stroj byl uložen na půdě ratibořického zámku. Od roku 1842 vlastnil zámek šlechtický rod ze Schamburg-Lippe. V důsledku pozemkové reformy roku 1918 o něj přišel. Na jaře 1926 koupil zámek s přilehlou zahradou a strání za 40 000 korun od náchodského panství továrník Vilém Dlabola. Roku 1932 začala oprava zámku. Rozpočet na opravu činil 3 miliony korun. Zámek byl dle návrhu architekta Karla Karolínka ze Dvora Králové n/L. rozšířen o východní křídlo a opatřen novou, jednotnou fasádou v barokním slohu. Trojkřídlý, jednopatrový zámek byl zastřešen novou mansardovou střechou s vikýři.

Jelikož se ve zdi nad skálou k rybníku objevily trhliny a hrozilo sesutí budovy zámku, začíná se stavět mohutná opěrná zeď. Základy byly vyhloubeny až 4m a v nich byla položena silná betonová deska. Stála 105 tisíc korun. Zbořená věž zámku měla být nahrazena dvěma věžemi na obou koncích opěrných zdí, k jejich dokončení však nedošlo. Dnes je zámek v rukou soukromého majitele a prochází rozsáhlou rekonstrukcí.