L'intérieur d'origine est connu par quelques photographies anciennes conservées dans la famille Labit et des gravures publiées dans l'Illustration du 18 août 1894. Des plans réalisés en 1932 et 1933 donnent une idée de sa distribution. L'ensemble s'organise autour d'un espace central éclairé par une verrière. Les arcades en plein-cintre, qui commandent les salles d'exposition, donnent l'illusion d'un patio traditionnel dans ce type d'architecture méditerranéenne.

Quelques années après la mort de Georges Labit (février 1899), son père Antoine lègue à la ville le musée et ses collections (Chine, Japon essentiellement), qui sont enrichies, au moment de la réouverture du musée, en 1971, par des œuvres déposées par l'Etat, choisies par le Musée Guimet.