Zámek v Litohoři byl postaven na začátku 18. století jako letní sídlo. V roce 1789 zámek po zrušení kláštera v roce 1784 získali Wallisové a počátkem 19. století jej upravili pro hospodářské použití a kanceláře.