Páni z Kosovy Hory se připomínají koncem 13. století. Tvrz písemně doložena v 15. století. V polovině 17. století tu byl čtyřkřídlý zámek s věží ze staré tvrze.

Původně renesanční zámek přestavěný r. 1838 s novodobě rekonstruovanými sgrafity. Úpravy ve 20. st. vedly k redukci původní čtyřkřídlé zámecké dispozice do současné podoby o dvou křídlech.

Areál zámku leží ve středu obce ve východní frontě náměstí. Sestává z dnes značně porušené a neúplné dvoukřídlé budovy zámku a z jeho ohradní zdi, zejména z části, oddělující zámek od vozovky na západě. I přes porušený stav se jedná o nedílný historicko urbanistický celek.