Až do šerého dávnověku sahají počátky osídlení na Tažovicku. Dokládají to archeologické nálezy z let 1977 – 1980, učiněné při zemních úpravách v areálu stávajícího zámku. Pravděpodobně zde, na návrší nad údolím potoka Kolčavy, stávalo slovanské hradiště. První písemná zmínka o Tažovicích je však až z roku 1360, kdy se v historických pramenech objevují bratři Oldřich Tažovec z Ohrazenic a Petr z Tažovic, oba erbu dvou klíčů vedle sebe položených.

Osud Tažovic je tak od samého prvopočátku spojen nejen s nedalekou Lhotkou, od 16. století nazývanou Lhotou Tažovickou, ale i se starobylými Ohrazenicemi, druhým střediskem následujících panství. Tažovcové dali obci jméno, podle pověsti vzniklé ze slov „Taž více!“, kterými se prý pobízeli koně s nákladem při stoupání do Kraselova. Pod panství Tažovice spadaly Tažovice, Tažovická Lhota a Volenice, pod panství Ohrazenice pak Ohrazenice, Škůdra a Lhota pod Kůstrým a panství Krejnice tvořila jen stejnojmenná vesnice. Ve vlastních Tažovicích žilo 278 obyvatel v 32 domech, byla tu filiální škola, myslivna, hospoda a mlýn s pilou.