Ves Crhov je připomínána roku 1353, tehdy patřila drobné šlechtě pánů z Drnovic. Opevněná tvrz se dvorem však vznikla mnohem později, zřejmě v průběhu válek česko-uherských v druhé polovině 15. století, kdy Crhov získal od Jiřího z Poděbrad Jan Děvečka z Herštejna. Roku 1487 získal koupí Crhov s tvrzí a rybníky Vilém a Vratislav z Pernštejna. Roku 1496 byl Crhov připojen ke zboží hradu Louka, tvrz ztratila na významu, nebyla udržována a zanikla. Tvrz stávala v západní části obce, kde kamení dává tušit místo hradeb.

Dochovaná pouze západní část příkopu 10m širokého a 1m hlubokého. Tvrz měla hranatý půdorys o straně přibližně 28m.