Biskupské rezidence byla vystavěna na místě tří měšťanských domů v letech 1709 - 1716 podle plánů Giovanni Santiniho nákladem biskupů královéhradecké diecéze Tobiáše J.Beckera a  Jana Adama hraběte Vratislava z Mitrovic.

Roku 1777 bylo průčelí objektu zvýšeno o druhé patro. Palác dostal v zásadě dnešní podobu a vznikl tak reprezentační biskupský palác, který umožňoval trvalý pobyt biskupů v sídelním městě. Do té doby sídlili královéhradečtí biskupové na zámku v Chrasti u Chrudimi.

V roce 1897 zničil oheň šindelovou střechu. Byla opravena, dostala mansardový tvar a krytinou byla ornamentální břidlice. Komplexní obnova biskupské rezidence proběhla v letech 1991 - 1993. Architektura a mobiliář Biskupslé rezidence 

Do dvoupatrového paláce s  devítiosým symetricky komponovaným hlavním průčelím se vstupuje dominantním kamenným portálem provázeným dvěma jónskými sloupy nesoucími úseky bohatě odstupňovaného kladí. Nad vrcholem půlkruhového záklenku je socha Panny Marie s anděly po stranách. Střední okno v patře je rámováno svěšenými girlandami na pilastrech, pod kterými je dvojice andělů sedících na rozeklaném tympanonu portálu. Nad tímto středním oknem je štukový reliéf andělů v oblacích. Přízemí je členěno pásovou rustikou; okna mají profilované šambrány a vysoké, zdvojené klenáky, lícující nahoře s kordonovou římsou.

Okna v patře mají šambrány téhož typu, v parapetech jsou lehce zvlněné soklíky, nad okny se střídají římsy trojúhelné a segmentově vzduté. V polích pod nimi jsou akantové a vavřínové věnce. Plastická výzdoba fasády v 2. patře je jednodušší. Okna druhého patra jsou nižší, jednodušší. Nad středním oknem je reliéfní lastura a po stranách, nad sudými okny v obdélných polích akantový reliéf. Hlavní římsa je bohatě profilovaná a nad středem průčelí segmentově vzdutá. Trojúhelný tympanon je zdoben reliéfem sv.Ducha v podobě holubice s paprsky. Po stranách jsou dva vikýřky se segmentovými římsami.

Střecha je mansardová, s hřebenem rovnoběžným s průčelím. Dispozice je typická pro barokní palácové stavby - s nádvořím uzavřeným čtyřmi křídly. V přízemí hlavní budovy je uprostřed průjezd zaklenutý ve vstupním úseku křížovým polem s eliptickými čely, ve střední rozšířené části plochou osmihrannou kupolkou s reliéfně rámovaným zrcadlem, za níž následuje další křížové pole. Místnosti uličního traktu, symetricky rozložené po stranách průjezdu mají valené klenby s eliptickými čely a trojúhelnými lunetami.

Ve dvorním traktu je po pravé straně schodiště do pater s elipticky valenou klenbou členěnou plochými pásy a křížovými poli v podestách. Po levé straně je schodiště do sklepů. Místnosti východního bočního křídla přístupné z arkádové chodby, která je otevřená do nádvoří, mají klenby valené s pravoúhle zaseknutými křížovými lunetami. Chodba je klenuta křížovými poli v pásech. Západní křídlo je úzké plochostropé. Velké místnosti v přízemí jižního křídla mají klenby s dvojicemi rohových lunet.

Nádvoří je posunuto poněkud doprava a ukončeno symetricky komponovaným dvorním průčelím jižního křídla, s elipticky vydutými úseky v rozích, mezi nimiž je v patře zasklená veranda a v přízemí nika, v níž je umístěna vodní nádrž se sochou sv. Jana Nepomuckého z roku 1830. Významným prostorem v  paláci, v  jeho severovýchodním nároží, je kaple sv. Karla  Boromejského z let 1720 – 1730. Je  čtvercového půdorysu, klenuta se stropním zrcadlem ve štukových rámech s freskou apoteózy sv. Karla Boromejského, na stěnách v medailonech jsou fresky církevních Otců - sv. Petra a sv. Pavla.