První zmínka z roku 1378, kdy majitelem byl Pešek z Patokryj. Tvrz zpustla počátkem 17. století.

Tvrz stávala na mírném návrší nad potokem Srpinou na jižním okraji obce. Dnes je tento prostor zastavěn obytnými a hospodářskými objekty.
V 15. stol. ve vsi sídlil rod z Duban, až do 17. stol. se v obci vystřídalo několik šlechtických rodů. Posledním držitelem tvrze byl Bernard Elsnic z Elsnic, kterému byl jeho majetek posmrtně konfiskován za jeho účast ve stavovském povstání.