Perla severomoravského baroka, filiální kostel Panny Marie, se nachází v Rýmařově na severovýchodním okraji města nedaleko silnice vedoucí do Bruntálu a Opavy. Dle mínění historiků je kostel natolik architektonicky významný, že v okruhu 40 km nemá sobě rovného a musel by hledat konkurenci až v Olomouci na jihu nebo v Nyse na severu. Kostel byl postaven v letech 1711-14 na půdorysu elipsy na místě dřívější poustevny. Kostel stavěl místní rodák Friedrich Hösler.

Na první pohled vcelku nenápadný kostel (dáno zejména špatným stavem omítky, i když byla v 2. pol. 20. století provedena rekonstrukce) uvnitř překvapí návštěvníky bohatostí interiéru a zejména pak nádhernými freskami, dílem Ferdinanda Nabotha a jeho žáka Jana Kryštofa Handkeho, který si zde takzvaně udělal jméno a brzy potom mohl přesídlit do Olomouce. Kromě již zmiňované freskové výzdoby v kapli můžeme vidět pěkné boční oltáře a sochy. Sloupoví je z umělého mramoru.

Ke kostelu nevede žádná turistická trasa a spousta turistů jej mine bez povšimnutí, mezi místními jde však o oblíbené místo, což je dáno jednak klidnou polohou na okraji města, jednak i tím, že v blízkosti kostela jsou dva pěkné a cenné pomníky a roste zde mnoho stromů, zejména lip, což památce vyneslo lidové pojmenování Kaple V Lipkách.

Samotný kostel je otevřen zcela výjimečně, o pouti nebo pokud se v něm konají koncerty. Jeho cena zejména spočívá v tom, že narozdíl od farního kostela, který byl mnohokrát přestavován, se mu živelné pohromy téměř vyhnuly. Pouze ke konci 19. stol. musela být vyměněna střecha z důvodu požáru. Zbytek kostela požárem naštěstí zasažen nebyl.