Barokní palác nechal postavit v letech 1660-76 tehdejší nejvyšší kancléř, Jan Hartwig z Nostitz. Kolem roku 1760 byl upraven podle návrhu Antonína Haffeneckera v duchu pozdního baroka. V této době palác získal i hlavní rokokový portál. 
Nosticové budovu využívali pro uložení svých uměleckých sbírek. Dnes slouží pro potřeby Ministerstva kultury.