První zmínka o existenci hradu v Litomyšli nalézáme ve staré Kosmově kronice z 1.čtvrtiny 8.století. Kronikář tam zmínil existenci hradu roku 981. Dříve to byl dřevěný hrad. Teprve po husitských válkách byl postaven nový kamenný hrad.

V roce 1567 syn moravského hejtmana Vratislav z Pernštejna obdržel panství Litomyšl s hradem od císaře Ferdinanda jako léno. V následujících letech Vratislav z Pernštejna nechal tento zámek přestavět na sídlo pro sebe a svou španělskou choť Marii Manrique de Lara z rodu Mendozů - dvorní dámu císařovny Marie. Stavba byla zcela ukončena roku 1581, její ráz je ukázkovou formou vrcholné renesance.

Na této stavbě je nejlépe vidět příklady tzv. moravské renesance. Ital Giovanni Battista Aostalli, který se podílel také na stavbě Belvederu Františka I. v Praze, zde působil především jako architekt a stavební mistr. Veškeré vnější zdi i komíny zámku jsou pokryty malbami "psaníček", tzv. sgrafitti. Traduje se, že ani jeden motiv vyskytující se na nich se neopakuje.

Vlastní zámek je obklopen hospodářskými budovami, postavenými a upravenými převážně v barokním slohu, zámecký areál doplňuje rozlehlá zahrada, která byla založena současně se zámkem a upravena a rozšířena v 18.století. Její součástí je i přírodní amfiteátr, kde se odehrávají některá představení Operního Festivalu Smetanova Litomyšl.

Právě za vlády hraběte Valdštejna-Wartenberga žila v Litomyšli rodina sládka Františka Smetany. Jeho syn, světově známý skladatel Bedřich Smetana, zde trávil své první roky dětství. V zámku se nachází i klavír, na nějž při své pozdější návštěvě Litomyšle Bedřich Smetana hrál pro potěšení zámeckého panstva.