Zakladatelem původního gotického hradu byl někdy po polovině 13.století Oldřich z rodu Buziců. Z jeho rodu pak vzešli pozdější Lvové z Rožmitálu. Ti pak hrad do poloviny 16. století nepřetržitě vlastnili. V 16. století byl pak hrad prodán Gryspekům z Gryspachu a přestavěn na renesanční zámek. Podle pověsti byl tenkrát ještě blatný hrad obklopen šípkovými keři a to dalo zřejmě podnět ke vzniku názvu Rosenthal, který byl později počeštěn na Rožmitál. K původní hradní věži zdobené sgrafity a bráně byla také přistavěna renesanční zámecká budova. Později tu byl v jedné z budov, které tvoří uzavřený komplex, také pivovar. Majitel panství byli od roku 1622 pražští arcibiskupové. Od roku 1623 sloužil jako letní sídlo pražského arcibiskupa. Ve 20. století zde byly byty a kanceláře Státních lesů. V současné době není zámek ve vlastnictví města ani státu a je pro veřejnost uzavřen.