Samotná obec Kostelní Vydří leží dole pod návrším s poutním kostelem. Prochází jí Vyderský potok, na němž bylo dříve několik rybníků. Jméno vesnice (i dvou dalších vesnic v nejbližším okolí) pochází zřejmě od slova vydra.

První zmínka o obci sahá do 14. století. Tehdy je tu již také doložen kostel Navštívení Panny Marie, tehdy farní, jehož původní gotická podoba prošla později úpravami, ale zůstává zřetelná i dnes (klenutí oken a kružby v nich). Kostel není uvnitř mimo čas bohoslužeb přístupný, ale zpravidla první červencovou neděli se tu slaví tzv. "dolní" pouť – svátek Navštívení Panny Marie (podle zažitého termínu před poslední úpravou liturgického kalendáře).

Nedaleko kostela stála tvrz, původně renesanční ze 16. století, později přestavěná na sýpku. K bydlení majitelům panství sloužil pak barokní zámeček, zbudovaný v její blízkosti počátkem 17. století, nově upravený počátkem 19. století.

Další historickou pamětihodností je kamenný barokní most (kolem roku 1730) se sochami sv. Jana Nepomuckého a sv. Josefa. Leží na historické cestě, nazývané kramářská, přicházející z návrší s klášterem a stoupající dál k Telči. Kramáři po ní vozili své zboží z Rakouska přes Slavonice až do Jihlavy.