Zdejší tvrz vznikla pravděpodobně na počátku 17. století za Žampachů z Potštejna. Sloužila zřejmě jen hospodářským potřebám. Když roku 1762 získali Pavlovice Habsburkové (do roku 1918), byla tvrz přestavěna v barokní zámek, který sloužil potřebám správy hospodářského dvora. V roce 1918 přešel do majetku státu.