První písemná zmínka o obci pochází z roku 1057 – již tehdy se tu pěstovalo víno. V roce 1068 věnoval zdejší zboží Vratislav II. vyšehradské kapitule. Stávala tu tvrz, prvně zmiňovaná v roce 1477. Na konci 16. století ji nahradil renesanční dvoupatrový zámek se dvěma křídly do pravého úhlu, na přelomu 17. a 18. století přestavěný barokně a upravený po požáru v roce 1806. Žitenické panství se pak znovu vrátilo vyšehradskému proboštům a patřilo jim až do 20. století. Do nádvoří vede od návsi kamenná barokní brána, zdobená znakem vyšehradské kapituly z roku 1699. Dnes slouží jako pobočka státního oblastního archivu v Litoměřicích. Je zde uložen mj. jediný exemplář nejstarší mapy Čech, Klaudyánova mapa z roku 1518. Byla cestovní, má opačnou orientaci, jelikož tehdejší cestovatelé neznali světové strany a řídili se pouze slunečními hodinami. Objekt zámku není v dobrém stavu, v minulém roce však již bylo započato s rozsáhlou rekonstrukcí. Hospodářské budovy u zámku z 2. poloviny 17. století jsou dnes již ve zříceninách. V sousedství zámku se na okraji návsi nalézá kostel sv. Petra a Pavla, původně románský s raně gotickou věží z doby kolem roku 1300, v dnešní podobě raně barokní z doby kolem roku 1650. V roce 2005 proběhla na kostele rekonstrukce věže. V roce 1654 v barokní faře č.p. 29 nad kostelem působil v letech 1787-1829 jako kněz kartograf a meteorolog dr. František Kreibich (pamětní deska). Již v roce 1791 založil v obci zemský školní dozorce, vyšehradský probošt a pozdější litoměřický biskup Ferdinand Kindermann industriální školu pro rukodělnou výrobu, jednu z nejstarších u nás, a zvelebil i místní ovocnářství. Žitenice dodnes zdobí ještě několik srubových i brázděných lidových staveb z 18. a 19. století a také zděné domy s empírovými prvky z první poloviny 19. stol. Na zalesněném návrší nad severozápadním okrajem vsi stojí bývalá barokní loretánská kaple z roku 1785, později upravená na vyhlídkový gloriet s dvěma arkádami v roce 1908 na lurdskou kapli s umělou jeskyní. Na návsi, u kostela i na jiných místech ve vsi a okolí je několik barokních soch a sousoší většinou z 18. století.

Na území žije 1397 obyvatel.