Tvrz vznikla kolem roku 1300 v souvislosti s lokací města, jehož majitelem byl zdejší klášter. Založil ji hamerník Kuncman, pravděpodobně první rychtář města. Ve 14. století se vystřídalo v jejím držení ještě několik hamerníků, od konce 14. století se stala obydlím městských rychtářů. 
Tvrz byla ve 2. polovině 15. století přestavěna v pozdně gotickém slohu, později na přelomu 17. a 18. století následovaly úpravy v duchu baroka. Ačkoliv v letech 1820-78 sloužila jako škola, od roku 1937 je zde umístěno městské muzeum.