V letech 1379 - 1651 se Březina stala sídlem panství, které bylo spravováno z hradu. "Hrad Březina postaven byl Jindřichem z Elstenberka, který tu ještě r. 1389 sídlo měl. Po něm následoval r. 1398 Jan Žid z Vetlé, r. 1402 Václav ze Švamberka, r. 1410 Něpr Duč, r. 1439 Harant a Lvík, bratři z Vařin. Potomek jejich Jan Harant prodal r. 1498 Březinu Zbyňkovi z Buchova a tento r. 1499 Bohuslavovi ze Svinař za 1 500 kop grošů.1673 přešla Březina v majetek Maxmiliána Františka Boryně ze Lhoty, r. 1682 v držení Innocenta z Bubna, r. 1758 dostala se Janu hraběti ze Šternberka a zůstala od těch dob stále v rodě jmenovaném ". Na začátku 50.let 17.století se centrum panství a sídlo šlechty stěhuje do nedalekých Radnic a již v 60.letech téhož století se o hradu mluví jako o pustém.