Radešínský statek byl po dlouhá staletí lénem žďárského kláštera. Roku 1407 se po Radešíně psal jakýsi Jan, po polovině století pak Buzek z Radešína.  Zdejší původně nevelká gotická tvrz jednoduché obdélné dispozice, jejíž zbytky byly teprve nedávno rozpoznány v dnešní zámecké budově, vznikla zřejmě někdy v průběhu 15. století.  Roku 1597 získal lenní statek do dědičného vlastnictví Samuel Radešínský z Radešovic, který na přelomu 16. a 17. století rozšířil tvrz na mohutnou věžovitou stavbu téměř čtvercového půdorysu. Roku 1616 již tvrz patřila olomouckému biskupu Františku z Ditrichštejna, který majetek přičlenil k biskupství a později zpět ke statkům žďárského kláštera. Kolem roku 1720 nechal opat Václav Vejmluva k tvrzi ze severní strany přistavět patrové barokní křídlo snad podle plánu G. Santiniho, který v té době ve Žďáru působil.