Muzeum se nachází v historické budově fary postavené v letech 1753 - 1755. Provedení této stavby patřilo v tehdejší době k nejhonosnějším objektům svého druhu v severních Čechách a její vzhled, preferující tzv. vilový stavební typ s mansandrovou střechou, se nakonec stal závazný právě pro farní budovy. V těsné blízkosti fary stojí kostel Nejsvětější Trojice, jehož původní stavba pochází z přelomu 16. a 17. století.

Zásluhou Obce Jiřetín pod Jedlovou bylo dne 12.09.1998 otevřeno v budově fary muzeum. Na přípravě otevření se pod vedením Ing. Pažourka podíleli také členové Spolku přátel Jiřetína pod Jedlovou.

Expozice je rozdělena do dvou částí. V jedné se zabývá historií dolování v Jiřetíně pod Jedlovou a přilehlém okolí, ve druhé se připomínají dějiny hradu Tolštejn.

Součástí muzejní expozice je Hornická naučná stezka Údolí Milířky a zpřístupněná štola sv. J. Evangelisty (obě epozice byly otevřeny 07.08.1999).