Původní ves patřila klášteru v Milevsku, který tu měl od 13. století své sídlo - tzv. proboštství. Když byl klášter roku 1420 vypálen husity, přestěhovali se mniši sem. Toužim však byla roku 1437 zastavena Zikmundem Jakoubkovi z Vřesovic, jehož syn Jan proměnil klášter v hrad. U něho pak v roce 1469 vzniklo i město, ojedinělý případ výstavby města v pozdní gotice. Patřilo postupně pánům z Plavna, Lobkovicům, od roku 1623 Juliovi Jindřichovi Saskému, po něm markrabím z Baden-Badenu a dalším. Vrchnost se však postupně přestěhovala do Ostrova a ve starém a novém zámku sídlili zřejmě jen úředníci.

Areál Janův zámek se skládá z Horního hradu založeného ve 13. století, v minulosti několikrát přebudovaného, a to v 15., 17. a 19. století. Další je tzv. Nový zámek z 16. století. přestavěný v 19. století. Součástí jsou i další objekty a hradební zeď. Zámek je situován na okraji města na vyvýšenině nad říčkou Teplá. Skládá se z několika samostatných objektů, které byly obklopeny původně v plném rozsahu starým opevněním.