Vrážné je poprvé připomínáno r. 1144, kdy je kníže Vladislav II. věnoval plaskému klášteru. R. 1420 ves zástavou získal Bavůrek ze Švamberka na Bělé. V majetku bělského panství Vrážné zůstalo až do r. 1656, kdy bylo prodáno Aleši Ferdinandovi z Mitrovic. O sedm let později obec, která sestávala z 5 usedlostí, koupil Karel Maximilián Lažanský z Manětína. Do r. 1713 zde přibyly další dvě chalupy.
Nyní: Po obvodu svažité malé návsi se rozkládá několik menších i větších usedlostí. V centru stojí zděná čtyřboká kaple se sanktusníkem ve vrcholu, zasvěcená sv. Petru a Pavlovi. Jejich 60 cm vysoké sochy jsou v kapli umístěny. K nejcennějším budovám patří č. 3, kde je zachován roubený špýchar a dřevěná stodola.