Barokní letohrádek si postavil Kilián Ignác Dienzenhofer v letech 1725 - 1728 na místě bývalých vinic a polí. Malířská výzdoba je od Václava Vavřince Reinera. Stavba rozšířena o dvě barokní boční křídla, z nichž jedno bylo strženo při výstavbě kostela sv. Václava. Od poloviny 18. století náleží letní sídlo Buquoyům, kteří obohatili původní zahradu. Roku 1758 ho koupil F. Buquoy. Dalším z majitelů byl továrník Ferdinand Delorme, který zde zřídil kavárnu. Začátkem 19. století tu byl zahradní hostinec. Roku 1828 se stali majiteli smíchovští továrníci bratři Porgesové z Portheimu (odtud název), kteří na pozemcích nemovitosti postavili továrnu na kartouny, kde roku 1844 vypukly dělnické bouře. V 60. letech 20. století získal objekt Český fond výtvarného umění, který ho upravil pro výstavní účely. V přízemí kanceláře obvodních výborů organizací Národní fronty. Objekt je veřejnosti přístupný.