Zámek a kostel sv. Martina dostavěný v roce 1686 hrabětem (tehdy ještě baronem) Bernardem Věžníkem na místě vyhořelého sídla Kašpara Melichara ze Žerotína. V některých místnostech zámku je zachována původní štuková výzdoba stropů a nástropní freskové malby. Architektonicky je významná galerie spojující vlastní objekt zámku a kostel, sloužící původně jako zámecká kaple a dvojramenné schodiště jdoucí z galerie do někdejší zámecké zahrady. Původní vzhled zámku ale takovýto nebyl. Zámek měl dvě nádvoří; severní, které je v podstatě v původní podobě zachováno dodnes a jižní, jenž bylo tvořeno arkádovým dvorem. Arkádové nádvoří ze tří stran uzavíraly galerie obdobné té, co dnes spojuje spojuje zámek a kapli (kostel sv. Martina). Ze severního křídla byl vjezd do hospodářského dvora umístěného tehdy severně od zámku, v přízemí západního křídla byl vchod navazující na cestu ke Kutné Hoře. Na této straně byl i malý parčík. V roce 1784 byl za hr. Karla Chotka zrušen vchod ze západní strany a parčík před ním, kde byly dodatečně vystavěny hospodářské budovy. Bývalý průjezd tohoto vchodu byl upraven a začleněn do obytné části. Bylo také zbořeno jižní křídlo arkádového dvora a zazděna galerie západního arkádového křídla do dnešní podoby. Na jižní straně obrácené k novodvorské bažantnici tak vznikl otevřený čestný dvůr s hlavním vjezdem do druhého nádvoří zámku a navazující v rámci komplexních krajinářských úprav v místě na hlavní cestu končící v bažantnici na palouku, z něhož vycházela radiální soustava dalších cest. Na tomto vzhledu zámku se již prakticky nic nezměnilo a můžeme jej vidět dodnes.V roce 1823 přestal zámek v Nových Dvořích sloužit jako sídlo a Jan Rudolf Chotek se přestěhoval do nového zámku postaveného na kopci zvaném "Kačínském", vzdáleného vzdušnou čarou cca 1 km od zámku starého. Tento zámek se podle lokality nazývá Kačina.
Z původního mobiliáře zámku se nedochovalo nic. Malá část, která zůstala odložena v půdních prostorách zámku, padla v  padesátých letech 20. století jako "buržoasní přežitek" za oběť nedostatku paliva na vytápění školy a lidské hlouposti v tehdejší socialistické republice.Zámek dnes patří obci Nové Dvory a nachází se v něm základní škola.