Ve 14. stol. zde byl dřevěný kostel, na místě, kde je státní silnice č. 11, mezi obydlím č. p. 9 a 162, který byl zničen za husitských válek. Vedle něho stál hřbitov, v místě domku č. p. 162. O tom svědčí např. průvod občanů na Dušičky kolem roku 1895, jenž byl veden z tehdejšího kostela na tento starý hřbitov. Dne 19. června 1748 byl položen základní kámen k novému chrámu, který 25. července 1748, v den sv. Jakuba – patrona kostela, byl vysvěcen za přítomnosti tenkrát dědičného Pána Ant. VÍTA, hraběte z Bubna a Litic. Duchovní správu zpočátku vykonávali knězi ze Žamberka. Služby se konaly každou třetí neděli v měsíci. Za bohoslužby se odváděl poplatek Žamberecké faře, povinnost skončila až v r. 1869. Zvony – ze tří zvonů, velký sv. Jakub z r. 1558, prostřední sv. Antonín z r. 1765 a malý sv. Anna z r.1604, byly dva poslední zrekvirovány za 1. světové války. Sv. Jakub byl v roce 2005 otočen v zavěšení, protože hrozilo jeho prasknutí a vyměněno uložení a zřízeno „elektrické zvonění“ na náklady obce Rybná n. Zd.