Qu’est-ce qu’un modèle MoE ?

L’architecture secrète derrière les outils d’IA que vous utilisez déjà

Si vous avez entendu dire que les grands modèles d’IA sont « constitués d’experts » sans vraiment savoir ce que cela signifie, cet article est fait pour vous. Il s’adresse aux comptables, aux juristes, aux médecins et à toute personne qui utilise ces outils sans être ingénieure.

La cuisine comme métaphore : par où commencer

Imaginez un restaurant avec un seul chef. Ce chef sait faire un peu de tout : grillades, pâtisserie, poisson, décoration de plats. Lorsque vous commandez une escalope viennoise, il passe mentalement en revue toutes ses techniques avant de commencer. Polyvalent, certes. Rapide, beaucoup moins.

Imaginez maintenant un second restaurant : huit chefs, chacun spécialisé dans un domaine différent. Dès que vous commandez l’escalope, le système sait immédiatement qu’il faut appeler le spécialiste des viandes. Les autres continuent de se reposer ou servent une autre table. Plus rapide, plus efficace, et le résultat est meilleur.

C’est à peu près ainsi que fonctionne un modèle MoE. MoE signifie Mixture of Experts, soit mélange d’experts : plutôt qu’un seul réseau de neurones omniscient traitant toutes les questions, plusieurs sous-réseaux spécialisés sont disponibles, et seuls les plus pertinents sont actives a un moment donne.

Une vieille idée que l’IA a retrouvée

Le concept MoE n’est pas né avec la récente vague d’intelligence artificielle. Le principe de base a été décrit par Robert Jacobs et ses collègues dès 1991 dans un article académique dont l’argument central était simple : différentes tâches sont mieux gérées par différentes unités apprises, tandis qu’un réseau de routage, appelé gating network, décide laquelle solliciter.

Pendant des décennies, cette idée est restée largement théorique. Les ordinateurs et les réseaux de l’époque n’étaient pas capables de gérer efficacement de telles architectures. Puis, à la fin des années 2010, au moment où les grands modèles de langage ont connu une expansion fulgurante, le concept a ressurgi avec une force réelle.

Le tournant est arrivé en 2017, lorsque l’équipe de recherche Google Brain a publié un article intitulé « Outrageously Large Neural Networks ». Il y présentait la première couche MoE moderne a activation creuse, fondée sur une intuition simple mais puissante : on peut construire des modèles énormes sans activer l’ensemble des paramètres à chaque calcul.

Comment ça fonctionne concrètement : le rôle du gardien

Dans un modèle de langage classique, chaque paramètre, chaque poids appris, est active pour chaque mot et chaque phrase. Si un modèle possède 70 milliards de paramètres, il effectue 70 milliards d’opérations rien que pour générer un seul mot. C’est extrêmement couteux, tant en énergie qu’en temps de calcul.

Les modèles MoE introduisent un système de routage intelligent. Pour chaque fragment de texte entrant, un gardien analyse la requête et décide : quels experts sont nécessaires ici ? En général, seulement 2 à 4 experts s’activent simultanément, issus d’un ensemble qui peut en compter 8, 64, voire plusieurs centaines. Les autres restent inactifs. Le modèle peut donc disposer d’une capacite totale énorme, par exemple 400 milliards de paramètres, tout en n’en utilisant qu’environ 50 milliards pour une tache donnée.

Pour revenir à la métaphore culinaire : le restaurant avec huit chefs a une masse salariale totale plus élevée que celui avec un seul cuisinier. Mais servir une table ne mobilise que le salaire du spécialiste compètent pour ce plat. Les clients sont servis plus vite. La facture d’électricité est plus basse.

GPT-4 et la grande spéculation

Lorsque GPT-4 a été lance au printemps 2023, OpenAI a révélé étonnamment peu d’informations sur son architecture interne. Aucun nombre de paramètres, aucun détail sur les données d’entrainement, aucune description structurelle. Ce silence était lui-même inhabituel pour une annonce d’une telle ampleur, et la spéculation a commencé presque immédiatement.

Dans les mois qui ont suivi, des informations divulguées et partiellement confirmées ont conduit la communauté IA a une conclusion largement partagée : GPT-4 reposerait sur une architecture MoE. L’hypothèse la plus citée avance que le modèle est composé de huit experts d’environ 220 milliards de paramètres chacun, deux s’activant a la fois, soit un total d’environ 1 760 milliards de paramètres mais seulement 440 milliards en usage actif à tout moment.

Le raisonnement derrière cette hypothèse reposait en partie sur une inférence technique. La combinaison de qualité de réponse, de diversité et de vitesse observée dans GPT-4 évoquait simultanément une capacité massive et une activation efficace, ce qui constitue précisément l’empreinte d’un système MoE. La spéculation a été alimentée par une déclaration du PDG d’OpenAI Sam Altman dans un podcast, où il a dit, en des termes qui invitaient a l’interprétation, que GPT-4 n’était pas un seul modèle massif.

Il est important de le préciser : OpenAI n’a jamais officiellement confirme cette architecture. L’hypothèse demeure une inférence de la communauté technique. Ce qui est certain, c’est qu’à partir de ce moment, le MoE n’était plus un concept de recherche confidentiel, et les concurrents ont commencé à l’adopter ouvertement.

Qui assume l’utilisation du MoE ?

La société française Mistral AI a publié fin 2023 son modèle Mixtral 8x7B en décrivant explicitement sa structure MoE : huit experts, deux actifs à la fois. Les résultats ont été surprenants. Sur les tâches ou la connaissance spécialisée comptait, il surpassait des modèles conventionnels bien plus grands.

Google DeepMind a confirmé l’utilisation de l’architecture MoE dans Gemini 1.5 Pro. La famille de modèles open source de Meta a également évolué dans cette direction. Le MoE n’est plus expérimental. C’est désormais un composant fondamental de nombreux systèmes à la pointe du développement de l’IA.

Qu’est-ce que cela change pour le comptable, le juriste, le médecin ?

En termes simples : davantage de valeur pour les mêmes ressources de calcul, voire moins. Lorsqu’un cabinet déploie une solution d’IA locale pour le traitement de dossiers médicaux, l’analyse de contrats ou l’extraction de données comptables, un modèle base sur l’architecture MoE n’est pas seulement plus performant en théorie. Il est concrètement plus économique. Moins d’énergie, des exigences matérielles réduites, des réponses plus rapides.

Pour les cabinets juridiques, les avantages de la spécialisation sont particulièrement pertinents. Un modèle MoE peut être entrainé de sorte que certains experts se concentrent spécifiquement sur les textes de droit fiscal, d’autres sur les actes de procédure civile, d’autres encore sur le droit européen : le tout via un système unique du point de vue de l’utilisateur.

Pensez-y comme à un grand cabinet d’avocats. Il n’y a pas un seul avocat omniscient. Il y a des équipes : fiscalité, immobilier, droit social, droit des sociétés. Un client entre, et la réception, le gardien, sait immédiatement sur quel bureau envoyer le dossier. L’expérience du client : un seul cabinet, exactement la bonne expertise.

Les limites : ce qu’il ne faut pas oublier

Comme toute technologie, celle-ci comporte de vraies contraintes. L’entrainement des modèles MoE est nettement plus complexe que celui des réseaux denses classiques. Le gardien lui-même doit apprendre, et s’il apprend mal, l’ensemble du système peut dérailler : certains experts deviennent surchargés tandis que d’autres sont à peine sollicités.

L’équilibrage de la charge, ou load balancing en anglais, est un défi sérieux. Si les mêmes deux ou trois experts reçoivent presque toutes les requêtes, les bénéfices de la spécialisation disparaissent. Les chercheurs utilisent diverses techniques de régularisation pour garantir une distribution plus équitable du travail entre les spécialistes.

Il y a aussi un coût mémoire. Même si moins de paramètres sont actifs a un moment donne, ils doivent tous rester chargés en mémoire pour que l’expert requis puisse répondre instantanément. Cela crée des contraintes infrastructurelles qui pèsent sur l’opérateur plutôt que sur l’utilisateur final, invisibles pour ce dernier, mais très visibles pour l’administrateur système.

Pourquoi ce concept mérite d’être connu

Le MoE n’est pas un concept d’ingénierie abstrait qui n’intéresse que les laboratoires de recherche. Une part significative des assistants IA, des outils d’analyse documentaire et des systèmes automatisés que les comptables et les juristes utilisent au quotidien repose déjà sur ce principe, ou le fera bientôt.

Comprendre l’idée de base permet de mieux évaluer ce qu’on peut demander à ces systèmes, quand il vaut la peine de choisir entre différents modèles, et pourquoi un outil généraliste est parfois moins performant qu’une alternative conçue spécifiquement pour une tache professionnelle donnée.

Le monde de l’IA évolue rapidement. L’essor des architectures MoE signifie que les systèmes de la prochaine génération seront à la fois plus grands et plus efficaces. La question n’est pas de savoir si cela arrive. C’est déjà le cas.