Asi 10 km od Dačic, v obci Budeč, jejíž historie sahá nepochybně až do 13. století, stávala snad na místě dnešního zámku, původně tvrz. Ta je poprvé připomíná v r. 1251, kdy zde sídlili bratři Vernhardt a Oldřich z Budče; vladykové z Budče. Písemně se však a připomíná teprve v r. 1520, kdy Jindřich Bořita z Budče prodal tvrz, ves, dvůr a pustý Rabštejn Jindřichu Koňasovi z Vydří. 

V letech 1662 až 1784 byl tento objekt v majetku louckého kláštera. V této době také došlo pravděpodobně i k přestavbě tvrze na barokní zámek. V první polovině 19. století byly pak provedeny ještě menší stavební úpravy.

Samotná zámek je tvořen komplexem budov, ze tří stran obklopujících obdélníkový dvůr a navazující na hřbitovní zeď. Snad bývalé opevnění kolem kostela. Severozápadní křídlo je patrové, v přízemí pak 4 oblouky na hranolových pilířích. V patře jsou prosklené arkády s oblouky.