Začátkem 16. století byla východně od tvrziště vybudována renesanční budova sloužící správě semínského panství. V podstatě byla tato budova sídlem správy západní části rozsáhlého panství Viléma z Pernštejna. Zároveň pravděpodobně sloužila i jako lovecký zámeček, neboť v Semíně byla jedna z loveckých stanic, specializovaných na lov srnčí zvěře a zajíců.

V roce 1691 byl k původní budově semínského zámečku přistavěn pivovar. Při té příležitost došlo k přestavbě a rozšíření původní budovy v barokním stylu. 

Svůj správní účel ztratila budova po roce 1780, výroba piva však pokračovala i nadále. Po roce 1918 přešel areál zámečku a pivovaru do vlastnictví tehdejšího sládka, pana Jindřicha Dvořáka. Pivo se zde vařilo až do roku 1926, kdy byl provoz z ekonomických důvodů ukončen. Prostor pivovaru a jeho rozsáhlých sklepení sloužil dále jako velkosklad pro pardubický a chrudimský pivovar. 

Obytným účelům slouží budova až do dnešních dnů, ačkoliv se nachází ve značně zchátralém stavu.

Dominantní budova semínského "zámečku"  je rodištěm známého architekta Josefa Gočára (nar. 13.3.1880), jehož stavbám se můžeme obdivovat v Praze, Jaroměři, Lázních Bohdaneč a hlavně v Hradci Králové. V tomto městě je Gočár, mimo jiné,   tvůrce celkové moderní urbanistické koncepce města.

 

Objekt zámku je veřejnosti nepřístupný.