Na nejvyšším místě bělského ostrohu se vypíná zámek. Jeho vzhledu vtiskla svůj ráz různá staletí. Půdorys zámku má tvar nepravidelného pětiúhelníku. Zámek tvoří pět traktů v průčelí se zdvíhá 32,4 m vysoká věž s osmibokou cibulovitou bání. Ve spodní části věže je klenutý průjezd, kterým se vchází do vnitřního nádvoří. Zámek stojí na místě, kde v dobách založení města byla tvrz, o níž však nejsou zachovány bližší zprávy. Ze zápisů je patrné, že tato nebyla sídlem držitelů statků bezdězského, ale byla využívána jen přechodně při cestách nebo za lovu v lesích. Je zde umístěno muzeum, ve kterém je uložena celá řada histrických památek připomínajících vývoj města.