Der Gartenpavillon wurde 1783 nach Entwürfen des Basler Architekten Samuel Werenfels errichtet. Ursprünglich stand er einige hundert Meter entfernt, im Garten der Liegenschaft «zum Hof» in der St. Alban-Vorstadt. Dort grenzte er direkt an die hintere Begrenzungsmauer des grossen Gartens. Als privater Rückzugsort war er auf der Rückseite mit einer niedrigen Heizungskammer und einem Abtritt ausgestattet; daher sind auf der Rückseite keine Fenster angebracht.
Als in den 1960er Jahren das Gartenareal für einen Neubau benötigt wurde, baute man den Pavillon ab. Einige Jahre später (1974) wurde er am jetzigen Ort wieder aufgebaut, allerdings ohne den rückseitigen Anbau.