Jako snad ke každému hradu, i k Sedleckému (Novému hradu) se váže jistá legenda, která má spojitost se třemi kříži, které ji připomínají dodnes. Ty byly postaveny jako smírná oběť tragické události, která se odehrála za doby posledního majitele Sedleckého hradu. Ten se podle dochované legendy rozhodl nerozvážně schovat svoji ženu a dvě dcery před svým odjezdem na neznámém místě. Na cestě se však nečekaně zdržel a po svém návratu je našel všechny mrtvé. To, že kříže stojí na tomto místě odnepaměti dodává i fakt, že katastr celého výběžku řeky Oslavy, na němž se nacházejí, je v mapách označován „U Tří křížů“. Toto místo bylo vždy dosti známé, uctívané a udržované a scházelo se sem procesí z blízkého i dalekého okolí.

Kříže renovované mezi válkami byli zřejmě z velmi kvalitního dřeva, neboť je předseda družstva použil jako trámy na svém hospodářském stavení. Občané obce Sedlec se na základě dochovaných zpráv a dokumentů rozhodli, že tyto kříže obnoví, k čemuž došlo roku 2003, aby opět připomínaly výše zmiňovanou událost, a aby navrátili tomuto místu úctu, kterou mívalo odnepaměti.