Kostel býval původně zasvěcen sv. Václavu. Kostel byl založen po roce 1300, býval pouze dřevěný nebo částečně kamennou provizorní stavbou, z níž byl zachován jižní portál. V roce 1327 se započalo se stavbou dnešního kostela, po roce 1388 vystavěna kaple P. Marie, v letech 1460-1470 sklenuta loď a vystavěna jižní loď, která dokončena roku 1509. Roku 1668 byla přistavěna sakristie. Roku 1817 přistavěna věž, nově zaklenuto západní pole v lodi, jižní kruchta a přistavěno schodiště ke kostelu.

Kostel Všech Svatých je architektonicky zajímavou stavbu, v jádru gotickou, s cennými interiéry, s dochovanými historickými konstrukcemi a hodnotnými architektonickými detaily a stavebními prvky. Z památkového hlediska jsou cenné křížové klenby s žebry v interiéru kostela, plackové klenby a síťová klenba. V kostele se dochovala spousta truhlářských prvků včetně kování, řemeslných prvků. Významný areál kostela je doplněn hřbitovem s ohradní zdí, schodištěm a dvěma kříži.

Areál kostela Všech Svatých je situován ve středu města, severním směrem od historického jádra města. Kostel se nachází na terénní vyvýšenině, která je přístupna po vyrovnávacím jižním a SV schodišti. Jedná se o arál kostela Všech svatých, který je tvořen dvoulodním orientovaným kostelem obklopeným nepoužívaným hřbitovem. Hřbitov je ohraničen ohradní zdí na jižní a západní straně. Součástí nemovité kulturní památky je i kříž na hřbitově, jižní schodiště a kamenný kříž u paty jižního schodiště.