Počátky hradu jsou spojeny s osobou moravského markraběte a od roku 1346 českého krále Karla IV., který koupil v roce 1340 horu Tepenec. Snahou markraběte bylo vybudovat v tomto odlehlém prostoru oporu zeměpanské moci, tj. hrad s posádkou, jejímž úkolem bylo střežit terén v oblasti kolem důležité komunikace, a zároveň i správní centrum, neboť u Tepence měla být zřízena i tržnice s celnicí.

Již za druhého majitele hradu, Karlova bratra a moravského markraběte Jana, byl hrad nazýván podle svého zakladatele Karlsburg. Později se ovšem na oba názvy zřejmě zapomnělo a název hory Tepenec byl přenesen také na hrad.

O samotné stavbě hradu a jeho dalších osudech se zachovalo jen velmi málo zpráv. Poprvé se jako hrad Karlsburg objevuje ve třetí a poslední závěti markraběte Jana z roku 1371.

Markrabě Jan hrad odkázal svému druhorozenému synovi Janu Soběslavovi. Již v posledních letech 14. století se stal hrad Tepenec obětí bojů mezi markrabaty Joštem a Prokopem, které byly i příčinou jeho zkázy. Z hradu zůstaly jen rozvaliny a od té doby zůstal trvale pustý.

Další zmínky o něm pocházejí až první čtvrtiny 18. století. V duchu romantismu dal hrabě Filip Ludvík Saint Genoisd`Harnoncourt postavit v roce 1825 na Tepenci klasicistní obelisk, nazvaný Filipova pyramida, a severovýchodně od něj postavit napodobeninu antického chrámu, který pojmenoval po své manželce Johanin chrámek.
Od 19. století se zde začal těžit kámen a kamenolom postupně zlikvidoval celý kopec, na kterém hrad stával a dodnes se dochovaly sporé zbytky opevněného předpolí.