Nejprve zde bývalo eneolitické sídliště, ve 12. až 13. století hradiště, ve 14. - 15. století nevelká gotická tvrz. Z té doby pochází část valu. Písemné zprávy chybějí. Pravděpodobně šlo o strážní tvrz kláštera Hradisko u Olomouce, kterému Svitávka náležela po celé období feudalismu.