Po roce 1666 byla usedlost Kajetánka přestavěna na malý klášter s kaplí, který se stal vyhledávaným poutním místem. Za Josefa II. roku 1783 klášter zrušen. Kaple chátrala a část byla zbořena. Koncem 18. století koupil Kajetánku svobodný pán zemský podkomoří Jan Hennet a objekt přestavěl v zámeček. Po jeho smrti byl zámeček majetkem Kouniců. V roce 1881 zde vypukl požár a objekt byl zničen.