Vrtbovský palác vznikl barokní přestavbou měšťanských domů po roce 1631 hrabětem z Vrtby. Další přestavba byla provedena Františkem Maxmiliánem Kaňkou, který je i autorem nejpozoruhodnější pražské zahrady, která palác proslavila.

V domě žil Kryštof Harant z Polžic, popravený na Staroměstském náměstí roku 1621. V letech 1886 až 1889 zde bydlel Mikoláš Aleš.