Prvním majitelem tvrze byl Jindřich z Nevojic, který své panství v roce 1393 prodal. Posledním pánem z Nevojic byl Mikuláš v roce 1464. Začátkem 16. století však tvrz zanikla. V současné době je veřejnosti nepřístupná.