Adapter un modèle à votre métier sans tout réentraîner

Parfois, donner des documents à l'IA ne suffit pas : on veut qu'elle adopte un ton, un format de réponse ou un vocabulaire métier. Il faut alors l'ajuster. Mais modifier les milliards de paramètres d'un grand modèle demande des machines hors de portée d'une PME.

L'astuce LoRA

En 2021, des chercheurs de Microsoft proposent LoRA (Low-Rank Adaptation). Au lieu de modifier tout le modèle, on le « gèle » et on lui ajoute de toutes petites pièces supplémentaires, que l'on entraîne seules.

Pour GPT-3, ils divisent ainsi par 10 000 le nombre de paramètres à entraîner et par 3 la mémoire nécessaire, avec une qualité équivalente.

Ce que ça change

• L'adaptation tient dans un petit fichier, qu'on peut garder, remplacer ou supprimer.
• On peut avoir plusieurs spécialisations pour un même modèle : une pour le service client, une pour les devis.
• L'entraînement devient possible sur une seule machine bien équipée.