Dějiny vysokomýtského muzea, jednoho z nejstarších regionálních muzeí u nás, sahají až do roku 1871. Přímý podnět k jeho založení dal vzdělaný mlynář a městský radní Karel Richter. Vzápětí bylo z darů občanů shromážděno více jak dvě stovky předmětů, především obrazů a mincí, následně uložených v jedné místnosti na městském úřadě. Počáteční nadšení začalo brzy ochabovat a roku 1877 došlo k zastavení muzejní činnosti. Po šesti letech se opuštěných sbírek ujal mladý architekt Josef Škorpil, pozdější ředitel a dlouholetý budovatel Umělecko-průmyslového muzea v Plzni. Na jeho podnět byl ustanoven muzejní komitét, schválen muzejní řád a sbírky přestěhovány do nedávno opravené Pražské věže a zpřístupněny. Muzejní pracovníci shromažďovali starožitnosti ve městě, za lidovými památkami podnikali cesty po blízkých i vzdálených vesnicích. Některé sbírkové předměty byly vystavovány na Zemské jubilejní /1891/ a Národopisné výstavě /1895/ v Praze. Roku 1912 se muzeum přestěhovalo do rodného domu významné osobnosti českého národního obrození A. V. Šembery.

V souvislosti s územní reorganizací v roce 1960 a vznikem nového okresu Ústí nad Orlicí bylo vysokomýtské muzeum přeměněno vzhledem ke své tradici a hodnotě sbírek na muzeum okresní. Odpovídajícím způsobem se rozšířila sbírková a metodická činnost, došlo postupně k profesionalizaci muzea a začalo odborné zpracování sbírek. Stále se rozrůstající fondy si v následujících desetiletích vynutily rozšíření prostor o další dva měšťanské domy. Od začátku roku 2003 je muzeum zřizováno Pardubickým krajem a působí jako regionální.