Kaple sv. Klimenta je některými kronikáři pokládána za jeden z nejstarších kostelů nejen v Hradci Králové, ale i v Čechách. Hradecký kronikář P. F. Švenda, který byl poslední, kdo měl přístup k archivním pramenům městského archivu Hradec Králové, uvádí, že v kronice Johanese Marignoli se uvádí pověst o založení kaple sv. Klimenta na hradě jménem Gradic. Kapli nechal postavit kníže Bořivoj, když se vracel se svou manželkou sv. Ludmilou z Moravy, kde byli oba pokřtěni sv. Metodějem.Zmínka o této stavbě je i v Neplachově kronice Opatovického kláštera, kde se uvádí, že jediným známým kostelem v Hradci Králové je v roce 1134 právě kostel sv. Klimenta.                          

Na počátku l4.století byl založen královnou Eliškou Rejčkou kostel Sv. Ducha. Dokládá se, že kostel sv. Klimenta již nepostačoval. V roce 1339 postihl Hradec velký požár, takže město zcela vyhořelo a předpokládá se, že spolu s farou a kostelem Sv. Ducha vyhořel i kostel sv. Klimenta.                              

V roce 1386 je uvedeno, že kostel sv. Klimenta "zkažený od ohni" nebyl opraven, ale v jeho blízkosti je klášter Dominikánů, které do Hradce uvedla královna Eliška Rejčka. Někdy koncem 14. století byl kostel sv. Klimenta vystavěn z cihel v gotickém slohu. Dokladem je zbytek záklenku v rohu dnešní Bílé věže. Klášter Dominikánů, který stál na místě dnešní radnice, byl vypálen za husitských válek. Tehdy byl patrně poškozen i kostel sv. Klimenta. V té době se konaly bohoslužby pro Němce v kostele Sv. Ducha a pro Čechy v kostele sv. Klimenta. V 16. století se v kapli sv. Klimenta bohoslužby nekonaly a kaple sloužila jako skladiště soli.                             

V roce 1574 byl jihozápadní roh kaple zbořen a ke kapli byla postavena Bílá věž. Vchod do kaple byl a do dnešního dne je přízemím Bílé věže.                                 

Až v druhé polovině 17. století, přesně v roce 1680 nechal duchovní správce Sartorius na své náklady kostel sv. Klimenta opravit. Naposledy se v původní stavbě sloužila mše svatá 9. dubna 1714 a hned nato se začala bořit, aby mohla být vystavěna nová. Na místi zbořeného kostela nechal biskup Adam hrabě Vratislav z Mitrovic vystavět dnešní barokní kapli podle návrhu G. Santiniho. První mše v nové kapli se sloužila 23.listopadu 1717. V archivu můžeme doslova číst také následující:                         

Léta páně 1854 byl tento chrám Svatoklimentský nově vydlážděn, vybílen, opraven, plechem nově pokryt, též nově tyára pozlacena a s památným písmem a mnohými podpisy na památku na vrch postavena."  Poslední oprava kaple byla po větrné vichřici v roce 1929. Poslední mše sv. před opravou zde byla celebrována 23.listopadu 1979. Při přípravě této opravy významně pomáhala také Společnost ochránců památek v Hradci Králové. 

Kaple je obdélníkového tvaru rozměrů 17.3 m krát 12.7 m s otupenými rohy a po obou podélných stranách s rizality. Stavba je kryta osmibokou kopulí krytou plechem, která nese rovněž osmibokou zděnou lucernu zakončenou menší bání. Na vrcholu je vztyčena velká pozlacená papežská tiara podepřená svatopetrskými klíči. Vchod vede Bílou věží. Okna jsou dvě s půlkruhovým vrchem. Vnitřek má eliptický tvar, osm párů sdružených jónských pilastrů nese kladí 1.65 m vysoké. Prostor nad celou kaplí je sklenut eliptickou kopulí ve vrcholu otevřenou pro lucernu. Nad vchodem je sklenuta kruchta do lunet.    Výzdoba je barokní. Na hlavním oltáři je zavěšen obraz sv. Klimenta. Na pravém bočním oltáři je položena prosklená rakev s barokními řezbami, a v ní uloženy ostatky sv.Klimenta. Na protějším bočním oltáři stojí polychromovaná velmi pěkně řezaná Pieta z pol.18 století.