Tvrz doložená rokem 1378 zanikla v polovině 15. století. Na konci 15. století získali Ptení Šarovci ze Šarova (do roku 1621). Ti postavili snad v místech tvrze zajímavý renesanční zámek, čtyřkřídlou budovu s okrouhlými věžemi v nároží, který se svým vzhledem blížil severoitalským kastelům. Nelze vyloučit, že v této podobě byla stavba dokončena až za plukovníka Miniattiho, Itala který vlastnil Ptení od roku 1630. Jeho potomkům náležel zámek do poloviny 18. století, pak jej získal klášter klarisek v Olomouci. Tehdy zámek zpustl a roku 1790 bylo zbouráno 1. patro, od té doby sloužil zbytek zámku jako sklady, hospodářské budova a byty.

Přízemní čtyřkřídlá budova se 4 nárožními patrovými okrouhlými věžemi kolem rozsáhlého nádvoří. Zbytky hřebínkových renesančních kleneb.