Na místě dnešního zámku stávala gotická tvrz či hrad s vodním opevněním, za Rudolfa II. již pustá. Renesanční zámek postavil na přelomu 16. a 17. století Bedřich z Operštorfu. Od roku 1684 patřili Častolovice Černínům a od roku 1694 na více než 250 let Šternberkům. V roce 1775 byl zámek svědkem velkého selského povstání. V letech 1809 - 1810 sloužil jako vojenská nemocnice.

V roce 1694 získal panství Adolf Vratislav ze Šternberka a v držení tohoto rodu zůstal zámek dodnes, s výjimkou doby zestátnění po druhé světové válce. Rozsáhlá přestavba renesančního zámku byla provedena v letech 1858-1874 Jaroslavem ze Šternberka, který ho nechal přebudovat ve stylu tudorské gotiky a zámek tak získal podobu anglického gotického sídla. Na panské části byly zřízeny mohutné rizality, nároží byla opatřena věžemi s cimbuřím.

Druhá přestavba ze začátku 20.století měla sídlu vrátit opět renesanční podobu. Nejdříve se přistoupilo ke zvýšení hospodářské části o jedno patro a po roce 1910 dostal zámek dnešní renesanční vzhled vídeňským architektem Humbertem Walcherem z Moltheimu. Průčelí zámku je rozděleno novorenesanční, v patře osmibokou věží s bránou.

Dodnes zachované unikátní prostory Rytířského sálu, jídelny, tzv. Tobiášky, i Kuřáckého a Tapetového pokoje dokládají závažnou renesanční etapu zámku. I další zpřístupněné interiéry s bohatými sbírkami ukazují na význam zdejšího sídla a jeho majitelů v minulosti.

U zámku se rozkládá anglický park s oborou, který má svůj původ v 19.století. Dnes je zde také mini-ZOO, dětské hříště, růžová a vodní zahrada a u zámeckého rybníčku s ostrůvkem je nově vystavený altá Gloriet s rychlým občerstvením a WC.

Současnou majitelkou častolovického zámku je Diana Phipps Sternberková, patřící k uznávaným bytovým architektům, což je patrné i při prohlídce interiérů, působících velice útulným dojmem. Také okolí zámku a nádvoří je nádherně upravené a její záliba ve staromódních růžích se pozná na první pohled. Přes 160 odrůd anglických a francouzkých historických růží , které se především vyznačují nádhernou vůní, se rozkvétá v červnu.