Nejstarší zpráva o lokalitě pochází z roku 1336, kdy se na Trutnovsku připomíná rytíř Otto Lapide.

V roce 1455 vybudoval bohatý rod Zilvárů na místě tohoto staršího hradu hrad Břecštejn . Nové sídlo vzrostlo na strmé slepencové skále. Prakticky nepřístupné bylo na severozápadě, na jihovýchodě a východě musel být hrad chráněn dvojím příkopem a valem. Ve třicátých letech 16. století za Adama I., dostal hrad nový název Silberštejn, což pocházelo zněmeckého příjmení Silber, užívané v češtině Zilvar. Po vzniku Československé republiky, začal být opět používán původní název Břecštejn, částečně i s názvem Silberštejn.

Byl zde také velkoprůmyslníkem Janem Františkem Theerem v roce 1794 vybudován osmiboký altán, který zde byl viditelný ještě v roce 1969. Do dnešních dnů zbyly z vlastního hradu pouze vysoké zdi. Do hradu se přichází někdejšími sklepy. Obec Vlčice ve spolupráci s partnery těžce shání prostředky pro alespoň částečnou záchranu této unikátní památky. O historii si dále přečtete ve vlčických novinách.