Stavba kostela byla zahájena podle projektu K. I. Dientzenhofera. Architekt vypracoval plány konventu na půdorysu pětiúhelníku, přetnutého mohutným kostelem s kupolí na vysokém tamburu a s dvouvěžovým průčelím. Tento návrh patří k nejvýznamnějším Dientzenhoferovým projektům a je škoda, že nebyl v plném rozsahu realizován. Zejména plánovaný chrám s mohutnou převýšenou kupolí by v této části města vytvořil novou dominantu. Baroknímu architektovi se téměř geniálním způsobem podařilo urbanisticky zhodnotit neatraktivní a spíše jen z nouze vybrané místo. Realita však byla tvrdá a z honosného projektu byla uskutečněna pouze část. Můžeme si povšimnout zakončení krátkého křídla, na němž je patrné přerušení stavby. Teprve ze dvora je patrný oválný korpus věže s kupolí a lucernou. Budova zůstala otevřená do zahrady. Důvodem byl nedostatek finančních prostředků, válka v zemi a nákaza cholery ve městě. Samotná stavba konventu se uskutečnila poměrně rychle. Od 25. dubna 1735 se kopaly základy, dne 3. května byl položen základní kámen. Stavba tří křídel byla dokončena v létě 1743, menší stavební práce však pokračovaly až do roku 1749. Architektonicky nejhodnotnějším prostorem dostavěné části konventu je centrální eliptické schodiště, umístěné v oválné schodišťové věži. Na střešní atice budovy je umístěna po „mostě“ druhá největší sochařská barokní galerie ve městě, pravděpodobným tvůrcem je sochař Jan Brázda z Litomyšle.