Plus gros = plus intelligent ? Les lois d’échelle

Pendant des années, la recette pour améliorer une IA a semblé simple : faire plus gros. Des chercheurs ont mesuré précisément pourquoi ça marche, et où sont les limites.

Trois ingrédients

• La taille du modèle : le nombre de paramètres, ces milliards de réglages ajustés pendant l'apprentissage.
• Les données : la quantité de texte lue pendant l'entraînement.
• Le calcul : la puissance de machines utilisée pour l'entraîner.

2020 : une règle qui se vérifie

Une équipe d'OpenAI montre que la qualité d'un modèle progresse de façon très régulière, et prévisible, quand on augmente ces trois ingrédients. On peut donc estimer à l'avance ce qu'un modèle plus grand donnera.

2022 : la taille ne suffit pas

Une équipe de DeepMind entraîne plus de 400 modèles et constate que beaucoup de grands modèles manquaient de lecture. Leur conclusion : quand on double la taille d'un modèle, il faut aussi doubler la quantité de texte. Leur modèle Chinchilla, avec 70 milliards de paramètres et 4 fois plus de données, bat Gopher, un modèle de 280 milliards de paramètres entraîné avec le même budget.

Ce qu'il faut retenir

• Un modèle plus petit mais bien nourri peut battre un modèle géant.
• C'est une bonne nouvelle pour l'IA en entreprise : des modèles de taille raisonnable, qui tiennent sur un serveur, deviennent très capables.