Malá obec Baldovec je umístěna v malebné lesní krajině leží při ponorném potoce Bílá voda, asi 2 km severozápadně od Rozstání. Původně zde stával pouze mlýn a osada vznikla výstavbou kolem něj r.1786. V r.1943 zde již bylo 56 domků a 292 obyvatel. Mlýn patřil Jírovi Valdovi. Odtud možná vznikl název Baldovec. V r.1944 byla vysídlena na příkaz německých úřadů. Po válce se však obyvatelé v menší míře vrátili zpět.

Od r.1945 je místní částí obce Rozstání. Za obcí je velký kamenolom a autocamping s vybudovaným lanovým centrem. Ten je dnes zřízen na místě bývalého pionýrského tábora.

Na konci údolí Bílé vody při obci Holštejn s půvabnou zříceninou, začíná CHKO Moravský kras. Severně od Baldovce,stávaly dvě zaniklé vesnice - Vankouš a Svatoňůvka.