Nynější zámek postavil Jan Václav z Astfeldu.

Centrem rozsáhlého areálu je jednopatrová budova s vyšší střední částí a symetricky řešenou fasádou, završená mansardovou střechou. Původně raně barokní zámek byl postupně, během 18. a 19. stol., rozšířen a upraven.

Areál nalžovického zámku je plošně velmi rozsáhlý. Zaujímá jihovýchodní polovinu intravilánu obce. Skládá se ze zámecké budovy s pomocnými objekty, hospodářského dvora, kaple Panny Marie Bolestné, panské hrobky a z velkého parku v plochém údolí drobné vodoteče, ohrazeného kamennou ohradní zdí. Zámek se nachází v jihozápadním koutě areálu, při malé trojúhelné návsi. Bezprostředně na zámek navazuje obdélný hospodářský dvůr zahrnující 9 objektů, z nichž zejména obytný dům a sýpka mají velmi stará jádra. Kaple se nachází v zámeckém parku, na severní hranici areálu. Panská hrobka je vedle kaple. Zámecký park dosahuje na východě až na hranici obce, ke státní silnici II. třídy č. 119.