Das Musikmuseum liegt im Zentrum der Basler Altstadt über dem Barfüsserplatz. Es gehört zu einem Gebäudekomplex, dessen älteste Teile auf das St. Leonhards-Kloster, ein Stift der Augustiner Chorherren, zurückgehen. Zum historischen Gebäude-Ensemble gehört auch die vermutlich zwischen 1060 und 1070 gegründete Leonhardskirche. 1356 wurden die Gebäulichkeiten durch das Erdbeben stark beschädigt, doch wurde das Stift mit grossem Einsatz wiederhergestellt. In den 1440er Jahren erlebte das Kloster durch Krieg, Pest und Hungersnot einen Niedergang, von dem es sich erst Ende des 15. Jahrhunderts erholte. Mit der Reformation wurden 1529 die klösterlichen Tätigkeiten eingestellt und die Leonhardskirche wurde eine von vier reformierten Pfarrkirchen der Stadt Basel. Der Klosterkomplex, der im 17. und 18. Jahrhundert als städtischer Bauhof genutzt wurde, wo der sogenannte «Lohnherr» auch die Löhne für die Arbeiter auszahlte, erhielt seine Bezeichnung «Lohnhof». Diese blieb auch erhalten, als 1821 die Polizei einzog. Zwischen 1835 und 1995 wurde das ehemalige Kloster als Gefängnis genutzt.

Anschliessend wurde das frühere Bibliotheksgebäude des Klosters und Zellentrakt des Gefängnisses durch die Basler Architekten Morger & Degelo zum Musikmuseum umgebaut. Die bald 1'000-jährige Geschichte des Gebäudes ist dabei bis heute sichtbar geblieben.