Jeden z nejstarších hradů v jižních Čechách vybudovali Vítkovci v 1. polovině 13. století. Založen byl Vokem z Prčice, který se od roku 1250 psal z Rožmberka. Jádrem raně gotického Horního hradu byla vysoká štíhlá věž postavená na nejvyšším místě ostrohu, při níž stál palác obehnaný hradební zdí a příkopem. Mnohokrát přestavovaný hrad s renesančními přístavbami Jana Zrinského získal roku 1620 císařský generál Karel Bonaventura Buquoy. Roku 1522 Horní hrad vyhořel a zůstala zachována jen věž Jakobínka.

V 30. letech 14. století byl postaven Jindřichem z Rožmberka Dolní hrad. Roku 1420 Rožmberk zastaven pánům z Walsee, po polovině 15. století vyplacen, v roce 1556 obnoven. Roku 1600 předal Petr Vok z Rožmberka hrad synovci Janu Zrinskému, po jeho smrti jej získali Švamberkové a po bělohorské konfiskaci Buquoyové.

V držení Buquoyů se Dolní hrad dočkal rozsáhlé přestavby v letech 1840–1857 provedené v duchu romantické gotiky a přistavěna nová dlouhá dvoupatrová obytná budova nového zámku, aby se stal důstojným památníkem rodu, jehož historie sahala až k prvním křižáckým výpravám.