Vedle kostela Nalezení svatého Kříže se nachází Piaristická kolej, která byla postavena v první polovině 17. století.

Řád piaristů byl do Litomyšle uveden Frebonií z Pernštejna v roce 1640. Piaristé (do Litomyšle přišli z Mikulova) byli řádem vzdělávacím, jejich cílem bylo vychovávat ve svých školách především chudou mládež.

Budova nejprve sloužila jako ubytovna pro řeholníky a učitele piaristických škol, poté jako filozofický ústav. Po uzavření ústavu na počátku 19. století byla budova využívána řádem až do roku 1950, kdy v jejich prostorách byl zřízen internát pedagogické školy. V současné době slouží jako pracoviště a internát Fakulty restaurování Univerzity Pardubice.

Klášter není v současné době přístupný veřejnosti.