Tvrz vybudoval po roce 1342 brněnský měšťan Ditlin Mořic, který obdržel od markraběte Karla právo opevnit zdejší dvůr. V husitských válkách ovládli tvrz na čas husité. Na počátku 16. století patřila dolnokounickému klášteru, od roku 1535 střídala majitele. Pravděpodobně Žabkové přestavěli tvrz v nevelký renesanční zámek. V roce 1622 získal Thurnům zkonfiskované Vlasatice František z Ditrichštejna. Po jeho smrti v roce 1636 je převzal synovec Maxmilián Ditrichštejn. Jeho potomkům náležel zámek do roku 1864, pak jej vlastnili Herbersteinové. Od roku 1622 sloužil jako úřednické obydlí.