MoE : pourquoi les grands modèles n'utilisent qu'une partie de leur cerveau

Les modèles d'IA les plus récents sont de plus en plus gros, mais ils ne deviennent pas proportionnellement plus lents ni plus chers à faire tourner. Une des raisons s'appelle le MoE, pour Mixture of Experts, ou mélange d'experts.

L'idée, avec une image

Imaginez un cabinet de 8 spécialistes. Pour chaque question, un standardiste choisit les 2 plus compétents et seuls eux travaillent. Le cabinet a beaucoup de savoir au total, mais chaque question ne mobilise que deux personnes.

Dans un modèle MoE, c'est pareil : certaines couches du réseau sont découpées en plusieurs « experts », et un petit « routeur » choisit, pour chaque jeton, lesquels utiliser.

D'où ça vient

• 2017 : des chercheurs de Google montrent qu'on peut empiler jusqu'à des milliers d'experts et multiplier par plus de 1 000 la capacité d'un modèle, pour un coût de calcul presque inchangé.
• 2021 : le Switch Transformer (Google) simplifie le routage en n'envoyant chaque jeton qu'à un seul expert, et entraîne jusqu'à 7 fois plus vite qu'un modèle classique de même coût.
• 2024 : le français Mistral AI publie Mixtral 8x7B. Chaque couche a 8 experts, 2 sont choisis par jeton : le modèle a 47 milliards de paramètres, mais n'en utilise que 13 milliards à chaque mot.
• Fin 2024 : DeepSeek-V3 pousse l'idée plus loin, avec 671 milliards de paramètres au total dont 37 milliards actifs par jeton.

Pourquoi c'est important

• Plus de connaissances pour un coût de calcul maîtrisé, donc des réponses rapides.
• Des modèles ouverts de très bon niveau, qu'on peut faire tourner sur ses propres serveurs : c'est ce qui rend l'IA locale réaliste pour une PME.
• La contrepartie : il faut quand même assez de mémoire pour stocker tous les experts, même si peu travaillent à la fois.