Eigentlich beginnt die Geschichte des Mucem schon in den neunziger Jahren mit der Schließung eines anderen Museums. Das Gebäude des Musée national des Arts et Traditions Populaire (ATP), das sich seit den siebziger Jahren im Bois de Boulogne in Paris befand, musste wegen Asbestverseuchung geschlossen werden. Statt wie in vielen Völkerkundemuseen damals üblich, exotische Exponate aus allen Ecken der Welt zu sammeln, war die Grundidee des ATP Alltagsgegenstände der französischen Kultur zu bewahren. Ein „Louvre des Volkes“ nannten die Franzosen das Museum.

Nach der Schließung überlegte man in Paris lange, wohin die umfangreiche Sammlung des ATP verlegt werden kann und entschied sich schließlich für Marseille als neuen Standort. In der alten Metropole am Mittelmeer suchte man zu der Zeit gerade eine neue Verwendung für das alte Fort Saint Jean, das bis dahin eine Militärkaserne war und nun als Kulturerbestätte der Öffentlichkeit zugänglich gemacht werden sollte. Marseille schien die perfekte Wahl für ein Museum, das von nun an das Gedächtnis der Kulturen des Mittelmeers und Europas bewahren würde. So schrieb man 2002 den Bau eines neuen Gebäudes aus und das erste nationale Museum Frankreichs machte sich auf den Weg Paris zu verlassen.

Sechs Architekten reichten ihre Pläne ein. Den Zuschlag erhielt der ungewöhnliche Entwurf von Rudy Ricciotti, einem der kreativsten und experimentierfreudigsten Architekten Frankreichs.