Im Jahre 1764 wurde das neue Schloß Hirschberg erbaut, wozu die Kupferdachungen vom Schlosse Willibaldsburg teilweise und von Arnsberg gänzlich verwendet wurden, weshalb Arnsberg, welches dafür eine Ziegeldachung erhalten hatte, bald als Ruine verfiel.