Jezdecká kasárna, která byla později spíše známa pod názvem Orlická kasárna, byla postavena v letech 1786-1787. Jedná se o čtyřkřídlou stavbu s dvěma nádvořími, která jsou, z venku, viditelná jen z Bílé věže. Fasáda budovy je členitá s profilovanými římsami, sokl je obložen kamennými deskami, půlkruhové vjezdy, na východní a západní straně, jsou lemovány kamennými kvádry. V části kasáren jsou dochována kamenná napajedla pro koně. Dnes v budově sídlí okresní soud.