Když r. 1562 zemřel majitel žampašského panství Zdeněk Žampach z Potštejna, rozdělili se jeho synové r. 1568 o otcovský majetek. Přitom městečko Kyšperk a šest vsí připadlo jako samostatné panství Čeňku Žampachovi, ale skutečným jeho pánem byl Čeňkův starší bratr a po ručník Jan Burian Žampach, který pobýval v Kyšperku často již za života svého otce. Jan Burian založil v místech panského dvora na nízkém ostrohu nad Tichou Orlicí tvrz. Ta se poprvé připomíná r. 1570. Stávala v místech dnešního východního dvoupatrového zámeckého traktu. Pochází z ní část základových a obvodových zdí do výše prvního patra a snad některé klenby v přízemí a sklepní prostory. Jan Burian Žampach kyšperské panství zadlužil, a proto je po jeho smrti (U 1574) musel Čeněk Žampach prodat. V l. 1574 – 1654 se na kyšperském panství vystřídalo šest majitelů.

Když r. 1653 zdědil Kyšperk Hynek Jetřich Vitanovský, přestala mu nevelká tvrz z doby Žampachů vyhovovat a přistoupil proto v r. 1680 k její přestavbě v pohodlný zámek. Rok po zahájení přestavby však zemřel, takže stavbu dokončila r. 1685 až vdova Jana Magdalena, rozená z Harasova, podruhé provdaná za Norberta Leopolda Libštejnského z Kolovrat. Přestavbou vznikla slohově nevýrazná dvoupatrová budova obdélníkového půdorysu. Na východním průčelí byla zdobena plochým středním rizalitem a byla kryta valbovou střechou, která vrcholila drobnou věžičkou s barokním cibulovitým zastřešením. Západně od hlavní zámecké budovy byla postavena jednopatrová budova, která byla v přízemí na východní straně otevřena arkádou. K této budově, v níž bylo umístěno hospodářské příslušenství zámku, přiléhala na západní straně umělecky nejvýznačnější stavba zámeckého areálu, jednolodní barokní zámecká kaple sv. Václava, v r. 1726 změněná ve farní kostel. Tento objekt byl vybudován pravděpodobně podle plánů italského architekta Antonia Demaggio. Nejpozoruhodnější částí interiéru kaple (nynějšího kostela) je bohatá štuková výzdoba stropu provedená Giovannim Madernou. Hlavní dvoupatrová zámecká budova byla spojena s nově vystavěnou západní budovou zdí s branou. Tato zeď od severu uzavřela nově utvořené nádvoří mezi oběma budovami. K jihu přecházelo nádvoří v zahradu. Při přestavbě tvrze zaniklo oprávnění mezi zámkem a městečkem.

Jana Magdalena zemřela těsně po skončení stavby (ještě v r. 1685). Majitelem nově vybudovaného zámku se stal její druhý manžel Norbert Leopold Libštejnský z Kolovrat. V r. 1706 převzal kyšperské panství, k němuž kromě městečka náleželo tehdy ještě 17 vsí, Norbertův syn František Libštejnský z Kolovrat. V l. 1717 – 1776 změnil kyšperské panství celkem šestkrát své majitele – většinou mezi příslušníky rodiny Bredů -, až je r. 1776 získala jako dědictví Terezie Bredová, provdaná Cavriani.

Nová majitelka přistoupila kolem r. 1800 k rozsáhlým úpravám zámku a jeho okolí. Tyto úpravy byly dokončeny až za dalšího majitele Petra Marcoliniho z Ferraty, který získal Kyšperk sňatkem s dcerou Terezie Cavriani Marií Annou. Nejprve došlo k úpravám interiéru hlavní zámecké budovy. Z rizalitu na východní straně budovy se zachovala jen přízemní část, na níž byl zřízen balkón. Změnila se podoba většiny místností v patrech zámecké budovy. Nově bylo provedeno zastřešení a do dnešní podoby upravena věžička, kterou vrcholí střecha. potom následovaly rozsáhlé terénní úpravy, především jižně od zámku. Získaného prostoru bylo použito k rozšíření zámeckého nádvoří a k založení zahrady. K upevnění naváženého terénu byly vybudovány opěrné zdi. Úpravy zámku byly ukončeny kolem r. 1830 vybudováním středního spojovacího zámeckého traktu mezi východním a západním křídlem v místech původní prosté zdi. V přízemí je zdoben oboustrannými arkádami a uprostřed polygonálním věžovitým výstupkem, v němž je umístěna hlavní zámecká brána. Současně s výstavbou spojovacího křídla byla upravena i severní část jednopatrového západního křídla, obrácená do náměstí. Na všech úpravách zámku se výrazně podílel vrchnostenský stavitel J. Toman.

Petr Marcolini v r. 1823 obohatil zámecké sbírky o saně, které údajně zanechal v r. 1813 Napoleon u jeho otce, saského ministerského předsedy Kamila Marcolniho v Drážďanech po svém útěku z Ruska.

*

Přestavěný a upravený zámek s celým panstvím, k němuž kromě městečka Kyšperku patřilo ještě 21 vsí, získal v r. 1836 Karel Nimptsch, který se v r. 1828 oženil s dcerou Petra Marcoliniho Terezií. Ta zdědila Kyšperk v r. 1834 a v r. 1836 ho postoupila svému manželovi. Terezie Nimptschová v polovině 19. století zřídila v západním křídle zámku školu pro dívky, kde se měly učit jemným ručním pracím. Po smrti Karla Nimptsche převzala kyšperský velkostatek v r. 1877 jeho dcera Anna, provdaná Stubenbergová. Za této majitelky došlo k posledním větším úpravám zámku. V r. 1897 byly přestavěny interiéry západního křídla a současně byla tato část zámku rozšířena na jižní straně architektonicky nevýraznou přístavbou. V r. 1909 byla pseudoklasicisticky upravena fasáda hlavní zámecké budovy, okna dostala nové frontony a římsy. Tyto úpravy prováděl kyšperský stavitel Alois Petříček. Anna Stubenbergová zemřela v r. 1916 a kyšperský zámek zdědil její syn Karel Stubenberg-Nimptsch. Za něho v r. 1924 bylo nově upraveno zahradní prostranství před hlavním vchodem do zámeckého areálu. Současně byly provedeny i drobné úpravy interiéru zámku. Stubenbergům-Nimptschům náležel zámek až do r. 1945, kdy byl zkonfiskován a přešel do majetku státu.

Po roce 1945 byly provedeny menší úpravy interiérů a běžné opravy budovy. V 50. letech 20. století bylo zrušeno samostatné oplocení zahrady před zámkem a tato prostora splynula plochou náměstí.

Zámek je nyní ve správě MěstNV Letohrad. Ve východním křídle jsou umístěny kanceláře národního výboru, obřadní síň, v přízemí místní lidová knihovna, v západním křídle je internát odborného učiliště. Přízemí, v němž byla do r. 1984 výroba sýrů, se upravuje na kulturní zařízení města. Ve středním traktu jsou uloženy sbírky městského muzea i se zmíněnými saněmi.

Zámek stojí v jihovýchodní části náměstí. Skládá se ze dvou architektonicky nevýrazných budov spojených středním spojovacím traktem, otevřeným v přízemí arkádami. Východní budova je dvoupatrová, krytá valbovou střechou vrcholící věžičkou s cibulovitou střechou, západní budova je jednopatrová, v přízemí otevřená arkádou, a krytá též valbovou střechou. K jihu a jihozápadu se rozkládá rozsáhlá zahrada přecházející dále v přírodní anglický park.

(Hrady, zámky a tvrze v Čechách na Moravě a ve Slezsku - Východní Čechy)