Comment on apprend à une IA à être utile

Un modèle qui vient de lire des milliards de pages sait compléter du texte, mais il ne sait pas encore « rendre service ». Demandez-lui une recette, il risque de continuer votre phrase au lieu de vous répondre.

L'étape des retours humains

Pour le transformer en assistant, on passe par une deuxième phase, décrite en 2022 par OpenAI avec InstructGPT :

• Des personnes écrivent des exemples de bonnes réponses à des demandes réelles.
• Le modèle produit plusieurs réponses à une même question, et des humains les classent de la meilleure à la moins bonne.
• Le modèle est ensuite ajusté pour produire davantage de réponses du type préféré.

On appelle cela le RLHF : apprentissage par renforcement à partir de retours humains.

Un résultat marquant

Dans l'étude, les personnes interrogées préféraient les réponses d'un modèle InstructGPT de 1,3 milliard de paramètres à celles de GPT-3, pourtant 100 fois plus gros. Bien guidé, un petit modèle peut être plus utile qu'un grand.

Pour votre entreprise

C'est le même principe, en petit, quand on adapte une IA à votre métier : on lui montre des exemples de bonnes réponses dans votre contexte, avec votre vocabulaire.