První zápis o obci Lypolecz máme z roku 1392, další důležité zápisy následují v roce 1398. Tehdy byla obec jmenována již jako součást dačického panství a zmíněna jako farní. Byl zde gotický kostelík zasvěcený sv. Lambertu. Ten byl však kromě věže zcela zničen a 1868 vystavěn kostel nový. Věž patří mezi mimořádné gotické památky v kraji. V sedmnáctém století farnost zrušena, obnovena znovu v roce 1736 a v roce 1796 vystavěna v barokním slohu farní budova. Škola je zde zmíněna již v 17. století. Nad obcí je přímo u cesty v kameni vtesaný kříž. Lipolec byl do roku 1918 obcí s výraznou německou většinou. Poté zvýšení českého etnika. V roce 1850 je zde ještě 386 obyvatel, v roce 1921 pouze 326, z čehož bylo 243 Němců a 82 Čechů.
V roce 2006 měl Lipolec 205 obyvatel.