Obec je poprvé zmiňována roku 1388, za Jezovce z Oselec. Je pravděpodobné, že již v té době zde mohla stát tvrz. Zbytky gotického zdiva byly zjištěny ve hmotě dnešního zámku při jihovýchodním nároží. První písemná zmínka o tvrzi je však z doby mnohem pozdější a to z konce 1. poloviny 16. stol., kdy Oselce vlastnili Oselečtí z Dlouhé Vsi. Koncem 16. stol. byli vlastníky Kokořovci z Kokořova. Gotická tvrz byla renesančně přestavěna do podoby trojkřídlého objektu. V 17. století snad za Jiřího Vojtěcha Janovského z Janovic byl při barokních úpravách trojkřídlý objekt scelen a později za jeho vnuka Františka Jiřího Janovského z Janovic byla tvrz barokně přestavěna do dnešní podoby stavitelem G. A. de Maggim. Janovští drželi Oselce až do počátku 19. stol. Posledním majitelem byl od roku 1832 až do roku 1945 rod Boos-Waldecků. V současné době je zámek sídlem středního odborného učiliště a v letech 1991-1992 byla provedena generální oprava jeho vnějších fasád.