Na místě dnešního zámku stával původní gotický hrad z první poloviny 13. století, doby kdy se v Přibyslavi dolovalo stříbro. V roce 1424 byl dobyt husity a poté obnoven. Hrad počátkem 16. století zpustl, místo něho byl vybudován renesanční zámek. 
Přibyslavský zámek postavil kolem roku 1560 Zachariáš z Hradce. Zámek byl v 18. století rozšířen barokními přístavbami. Roku 1767 zámek vyhořel, ale brzy byl opraven. Toto se opakovalo i roku 1847, kdy oprava po požáru vtiskla fasádě objektu pozdně klasicistní podobu. Celý komplex se rozkládá okolo dvou obdélných nádvoří. V jižním nádvoří se nachází arkádový ochoz tvořený toskánskými sloupy. Na klasicistně upraveném severním průčelí se nachází erb Ditrichštejnů. Západní fasáda je pokryta sgrafity. 
V současné době se v zámku nachází hasičské muzeum.