Hrad byl založen po roce 1200 snad Vojtěchem Nothaftem a pojmenován Vildštejn, kteréž jméno převzali i potomci Vojtěcha. Dále hrad vlastnili Šparnekové a Gummerauerové, za nichž v 15. století upravován, další stavební zásahy v 16. století za Wirspergů a Trautenbergů (drželi jej v letech 1613 - 1799). Roku 1783 vystavěn nový zámek v předhradí. Později panství rozděleno mezi několik majitelů, ale za Wilhemů opět spojen.

Hrad patří mezi nejzachovalejší románské stavby tohoto druhu v Čechách. Skládal se původně z několika budov, seskupených na poměrně malé ploše. Ve středu čela stávala velká věž s bránou, za ní po stranách kaple a palác, který zaujímal nejzazší místo staveniště. Uprostřed bývalo původně malé nádvoří, postupně za přestaveb zcela zastavěné, takže dnes hrad působí dojmem jedné budovy. Z nejstarší části zachována věž a kaple, palác později nahrazen dodnes dochovanou gotickou stavbou. Nový zámek v předhradí rokoková stavba o dvou křídlech, patrová, krytá mansardovou střechou. V průjezdu osazena původní brána ze starého hradu.