Hrad vznikl zřejmě v 80. letech 12. století za předka rodu Bavorů, který sem přišel z Moravy. Jeho syn či synovec Bavor I., přední velmož své doby, daroval roku 1243 kostel a špitál ve východní polovině hradu řádu johanitů. Již od samého počátku se počítalo se soužitím panského sídla a johanitské komendy, neboť špitál potřeboval pro svůj provoz dostatek vody, navíc povinností johanitů bylo pečovat o pocestné a k výstavbě hradu bylo vybráno místo na křižovatce dálkových cest. Opevnění zaručovaly toky Otavy a Volyňky, na západě vodní příkop a na jihu později zřízený Bezděkovský rybník. Hrad rozšířen v letech 1260 - 1280 za Bavora II. Pozdně gotická přestavba podniknuta za komtura Jana z Rožmberka na přelomu 15. a 16. století. Poslední větší úpravy barokní na přelomu 17. a 18. století, postavena velkopřevorská rezidence (trvalým sídlem velkopřevorů v letech 1421 - 1694, pak přesídlili do Prahy). Větší opravy v roce 1936.