Der Abteiberg bildet zusammen mit Rathaus, Münster, Pfarrkirche und Probstei den historischen Kern der Stadt. In Serpentinen geht es den Hang hinauf zum Museum, vorbei an Skulpturen und Objekten zeitgenössischer Bildhauer, die sich harmonisch in die Umgebung von Terrassen mit Bäumen und Blumen einfügen. Seit Juni 2002 ist der Skulpturengarten Teil des Museums. Der untere Bereich des Gartens ist in Anlehnung an barocke Vorbilder von Karl Birkigt symmetrisch angelegt, der obere Teil wird von den asymmetrischen „Reisterrassen“ von Hans Hollein dominiert. Internationale Bildhauer aus Deutschland, Österreich, Italien, Frankreich und den USA erwecken den Abteigarten mit ihren Kunstwerken zu neuem Leben und schaffen einen schöpferischen Erlebnisraum.