Jméno mají Žleby od údolí řeky Doubravy, která tu vytvořila hluboký žleb - žlab. Na městečko byly Žleby povýšeny v roce 1356, kdy byly v držení císaře Karla IV. a byl jim dán do znaku stříbrný lev se zlatou korunkou, jazykem a zlatými drápy v černém štítě. Písemnosti o tom se nedochovaly. Tento znak byl roku 1697 od pozdějšího majitele Žleb svobodného pána z Kaisersteinu pozměněn a obdařen barvami ze znaku rodiny Kaisersteinu. Na černém štítu je Lev zlaté barvy a drží v tlapě zlatou lilii. V současné době se město vrátilo k původním barvám znaku a ponechalo lvu stříbrnou lilii.

První písemná zpráva o Žlebech je z roku 1278. V tomto století tu byl založen hrad Jindřichem z Lichtenburku a dány počátky panství. V držení hradu se vystřídalo hodně majitelů i několik českých králů. Významnými rody byly Kaisersteinové, Schönfeldové a naposledy Auerspergové. Do roku 1848 tvořilo žlebské panství 20 vesnic.

Vyhledávanou památnou budovou je ve Žlebech státní zámek s bohatými sbírkami zbraní a jiných starožitnosti. Původně gotický hrad byl v roce 1427 pobořen husity, nově postaven před rokem 1450, později upraven renesančně, v roce 1754 barokně, do dnešní pseudogotické podoby přestavěn v letech 1849-1886.

U zámku je rozsáhlý anglický park. Ke Žlebům patří osada Markovice. V ní jsou jako památky zapsány gotický kostel svatého Marka ze začátku 14. století, areál zájezdní hospody čp. 91, dvůr a areál čp. 208 s hospodářskými budovami z druhé poloviny 18. století.