Počátky 
hradu jsou spojeny s osobou moravského markraběte a od roku 1346 českého krále Karla IV., který koupil v roce 1340 horu Tepenec. Snahou markraběte bylo vybudovat v tomto odlehlém prostoru oporu zeměpanské moci, tj. 
hrad s posádkou, jejímž úkolem bylo střežit terén v oblasti kolem důležité komunikace, a zároveň i správní centrum, neboť u Tepence měla být zřízena i tržnice s celnicí.
Již za druhého majitele hradu, Karlova bratra a moravského markraběte Jana, byl 
hrad nazýván podle svého zakladatele Karlsburg. Později se ovšem na oba názvy zřejmě zapomnělo a název hory Tepenec byl přenesen také na hrad.
O samotné stavbě 
hradu a jeho dalších osudech se zachovalo jen velmi málo zpráv. Poprvé se jako 
hrad Karlsburg objevuje ve třetí a poslední závěti markraběte Jana z roku 1371.
Markrabě Jan 
hrad odkázal svému druhorozenému synovi Janu Soběslavovi. Již v posledních letech 14. století se stal 
hrad Tepenec obětí bojů mezi markrabaty Joštem a Prokopem, které byly i příčinou jeho zkázy. Z 
hradu zůstaly jen rozvaliny a od té doby zůstal trvale pustý.
Další zmínky o něm pocházejí až první čtvrtiny 18. století. V duchu romantismu dal hrabě Filip Ludvík Saint Genoisd`Harnoncourt postavit v roce 1825 na Tepenci klasicistní obelisk, nazvaný Filipova pyramida, a severovýchodně od něj postavit napodobeninu antického chrámu, který pojmenoval po své manželce Johanin chrámek. 
Od 19. století se zde začal těžit kámen a kamenolom postupně zlikvidoval celý kopec, na kterém 
hrad stával a dodnes se dochovaly sporé zbytky opevněného předpolí.
 přidat text nebo poznámku           
                
                
 přidat fotografie