Židovské osídlení obce se datuje do období 1. poloviny 16. století. Synagoga postavená v letech 1781-82 byla v roce 1830 upravena do klasicistního typu a dnes slouží jako muzejní expozice - Památník Karla Poláčka.

Expozice judaismu v Podorlicku přibližuje stopy existence židovské komunity. Právě jedné ze židovských rodin v Rychnově nad Kněžnou se v roce 1892 narodil a posléze i vyrůstal budoucí spisovatel a novinář Karel Poláček, který je i autorem knihy Bylo nás pět.