Vybudován v letech 1561 - 1569 Závišem z Víckova podle plánu neznámého severoitalského architekta. Původně to měla být čtyřkřídlá dvoupatrová stavba kolem obdélníkového nádvoří zdobená hranolovou věží a nárožními arkýři. Měla být typem severoitalského kastelu. Realizováno však jen východní a část severního křídla se vstupní věží. V roce 1575 prodal Přemek z Víckova nedokončený objekt bratřím za Zástřizl, za nichž byly dokončeny renesanční fasády a atika. Majitelé se pak rychle střídali, žádný však stavbu nedokončil. Nejvýznačnější z nich byl Josef Leopold Petrasch (v polovině 18. století), učenec a člen první učené společnosti v Rakousku, která vznikla v roce 1747 v Olomouci. Za Lichtenštejnů (od roku 1798) odstraněno opevnění, zbořena západní část severního křídla, budova sloužila jen jako sklady a byty.