Tvrz zde vznikla na počátku 17. století. V roce 1690 získal Jesenec zábrdovický klášter. V roce 1711 v místě tvrze postaven patrový barokní zámek, sloužící jako letní rezidence. Na jeho stavbu měl snad vliv architekt J. Santini. Po zrušení kláštera v roce 1784 se vystřídalo několik majitelů. Od roku 1933 sloužil sociálním účelům.

Patrová obdélníková budova s bohatě členěnou fasádou jižním průčelí, k němuž vede dvouramenné schodiště. Chodbou připojen k zámku kostel. Na severní straně vestavěno do střešního prostoru 2. patro.