Z pramenů o dějinách naší vlasti a z opravdu vykopaných důkazů o osídlení zdejší krajiny můžeme říct,že kolébkou obce byla okolní prehistorická sídliště a později ranně středověké tvrze. Jedna z nich stála na místě dnešního zámku a druhá na skalnatém svahu údolí Úterského potoka nedaleko Sviňomaz. Tvrz nesla jméno Hrádek nebo také Sviňomazský Hrádek. Dnes už z její dávné slávy pranic nezbylo,jen od planiny na jihu a západě je patrný příkop a jižní násep. Hrádek nebyl příliš rozlehlý,skládal se pravděpodobně z věžiště,dvorku a vodní nádrže. Příjezd k tvrzi byl od Sviňomaz a je dodnes znatelný.

Stavba byla založena asi v polovině 14.století a jejím prvním známým držitelem byl Sulek.který se připomíná v roce 1360 a zemřel roku 1380.Tehdy již byly známé i Sviňomazy jako ves. Sulek mladší byl v letech 1391 až 1415 proboštem Chotěšovského kláštera. Jeho bratr Martin,zvaný Maršík držel v letech 1394 až 1424 hrad Lopatu. Další bratr Sezema patřil k předkům nejproslavenějšího rodu "z Hrádku" Markvartů. První jeho syn Markvart byl v roce 1400 dosazen jako dvanáctiletý za faráře v Erpužicích. Z rodu z Hrádku se odvinuly i rody Lopatů z Hrádku, Drzdéřů u Hrádku a další,které spojoval v další rodové historii erb pánů z Hrádku. Ten měl štít napříč trojdílný a za klenot hořící kouli.Téměř dvousetletou historii tvrze ukončuje rok 1520,kdy Hrádek již pustý s dvorem a vsí Mydlovary a další vesnice prodává Jan z Hrádku Linhartovi Markvartovy z Hrádku,který celý majetek připojuje k Trpístům. Podle historických pramenů Hrádek zpustl již po roce 1473,neboť tehdejší držitelé se již psali se sdělením na Erpužicích a Mydlovařích.

O historii původní trpístské tvrze příliš prameny nehovoří,ale o jejím stavebním následníku již ano.