Zámek v pozdně barokním slohu byl postaven v letech 1749-1755, v přilehlém parku jsou vzácné dřeviny. Při hledání pokladu bylo nalezeno pečetidlo s letopočtem 1731 dokládající, že Potštejn byl městečkem s vlastním znakem a pečetí. Naproti zámku je římskokatolická fara s dvouramenným schodištěm.

Zámek otevřen pro veřejnost, k shlédnoutí historické interiéry s použitím původního nábytku a obrazů šlechtických rodů Chamaré a Dobřenských. Návštěvníci se mohou také těšit na nově zrekonstruovaný mramorový sál se vzácným rokokovým stropem a kapli Nejsvětější Trojice.