Bývalá tvrz, nynější zámek byl postaven v letech 1735-1736 a často měnil své majitele. Zažil a přežil spoustu válek, drancování či pokus o vypálení. Byl svědkem velkých a hlučných honů. Až do roku 1924 byli vlastníky objektu Schwarzenberkové.
Na začátku 20. století se z vršovického dvora a zámku stal zbytkový statek. Po roce 1945 byl majitelem budovy městský výbor, který ji využíval k bytovým účelům. V současnosti zámek chátrá.