V roce 1995 byla vyhlášena v Doubravníku Městská památková zóna . Domy na náměstí a v historickém centru, jsou chráněny památkovým úřadem . Za nejstarší je považován dům č.35 pana Jambora s gotickými vraty a zajímavou architekturou celé budovy . Je prokazatelně starší než kostel Povýšení svatého Kříže stojící v jeho těsné blízkosti . Traduje se, že tam bývalo probošství zaniklého kláštera.

Socha sv. Jana Nepomuckého stojící nyní v parku na náměstí stála původně u zdi Jamborova domu a do kostela se chodilo po lávce přes potok Rakovec, který tekl přes dolní část náměstí kolem budovy Staré školy do řeky Svratky.