Původní brložský kostel vznikl poč. 14. stol. nákladem Petra I. z Rožmberka. Kostel byl zasvěcen svaté Maří Magdaléně a vznikl mezi lety 1310–47. Z této stavby se zachovala věž a části obvodových zdí. V letech 1697–1704 je využil J. Canevalle při budování nového kostela, který využil původní starší konstrukce a inspirace původním vzhledem byly zřejmě značné, protože i stávající kostel vyhlíží spíše goticky. Rozsáhlejší úpravy pak tento kostel čekaly již jen v období let 1890 až 1894. Fara byla vystavěna roku 1716 a již v roce 1751 zcela vyhořela.

Kostel spolu se sousední farou a hřbitovem vytváří malebný celek na úbočí kopce nad centrem vsi. Kostel sv. Šimona a Judy je jednolodní stavbu, zakončenou trojbokým presbytářem a zastřešenou vysokou sedlovou, nad závěrem zvalbenou střechou. Věž je přiložena k jižnímu boku lodi. Podél jižní fasády lodě se nachází obdélný přístavek depozitáře s pultovou střechou. Přístavek sakristie s pultovou střeechou se nachází podél jižní fasády presbytáře. Areál kostela doplňuje dnes nepoužívaný hřbitov, který je ohraničen ohradní omítanou zdí. Před jižním vstupem na hřbitov se nachází mohutné vyrovnávací dvouramenné kamenné schodiště s kamennými zdmi. Součástí nemovité kulturní památky je areál fary, který se nachází západním směrem od kostela, v jeho těsném sousedství.