V Židlochovicích byla vybudována nejpozději v první polovině 14. století, nejspíše do roku 1349, vodní tvrz na níž sídlili vladykové, Arkleb ze Ždánic postoupil roku 1349 ves arcijáhnu Vítkovi z Olomouce. Roku 1353 získává tvrz i ves moravský markrabě Jindřich, čímž se staly zeměpanským majetkem. Markrabě Jošt, který ves a tvrzí zdědil je roku 1407 postoupil Vilému Zajícovi z Valdeka. Poté se v držení židlochovické tvrze vystřídalo v rychlém sledu několik rodů a v 15. století mezi ně patřili Annou z Valdštejna i Valdštejnové. Po její smrti získávají tvrz a městečko páni z Boskovic. Roku 1508 koupili židlochovický statek spolu se tvrzí Pernštejnové a za svého držení do roku 1562 značné rozšířili židlochovické panství.

Bedřich ze Žerotína přebudoval v 70. letech 16. století dosavadní vodní tvrz na renesanční zámek s kaplí. V době zvyšujícího se tureckého nebezpečí bylo zpevněno hradební zdivo zámku a prohloubeny vodní příkopy. Žerotínové prodali zámek s rozsáhlým panstvím roku 1616 Adamovi ml. z Valdštejna. Na konci 17. století získal panství částečně koupí a částečně dědictvím Filip Ludvík Sinzendorf. Ten nechal přestavět stávající zámek na barokní. Průčelí bylo vybudováno z opačné strany, směrem do parku a nad vchod nechal umístit valdštejnský a sinzendorfský znak. Pokoje byly vyzdobeny holanským malířem van Royem. Jeho dědici prodali zámek spolu s panstvím roku 1743 Ditrichštejnům. Karel Maxmilián nechal upravit zámecký park na jeden z nejkrásnějších na Moravě.

Roku 1819 prodali Ditrichštejnové židlochovický zámek habsburské císařské rodině, potomkům Leopolda II. , jimž patřil až do roku 1919. V roce 1822 proběhla další úprava zámku, bylo zbořeno dosavadní hradební zdivo, zrušeny padací mosty, zasypány příkopy a srovnány náspy . Z takto získaného prostoru vzniklo nádvoří a proto také bylo průčelí zámku přeneseno do někdejší zámecké části. K posledním úpravám došlo v letech 1842 - 1854 v rámci úprav okolí zámku. Budova byla přestavěna v empírovém slohu a v jejich interiérech byla instalována obrazárna s díly holanských mistrů. V průčelí u vchodu do zámku byly umístěny sochy pocházející od Jiřího Schaumbergera.

Koncem 18. století bylo v zámecké oboře i v jiných oborách statku zavedeno pěstování bažantů , kteří se v době sezony dováželi do Vídně .

Po roce 1918 byl zámek upraven na letní sídlo presidenta republiky a dodnes slouží zahraničním hostům. Několikrát zde pobýval prezident Masaryk .