Budova Katolického domu se nachází na ulici Generála Čápka. Byla postavena v letech 1925 - 1926. O její vybudování se nejvíce zasloužil tehdejší olešnický kaplan P. Leopold Benáček. Orlovna byla slavnostně posvěcena 26. září 1926 místním farářem panem radou Františkem Soukalem. Slavnosti se zúčastnil starosta Orla P. mons. Jan Šrámek. Postavení a otevření Katolického domu umožnilo rozvoj tělovýchovné a kulturní činnosti Jednoty Orla v Olešnici.