Comment une IA comme ChatGPT écrit ses réponses

Quand vous posez une question à une IA de type ChatGPT, Claude ou Mistral, elle ne va pas chercher une réponse toute faite. Elle écrit sa réponse un petit morceau à la fois, en devinant à chaque fois le morceau le plus probable.

Des morceaux de mots, pas des mots

Le texte est d'abord découpé en « jetons » (tokens) : des morceaux de mots. « Incroyablement » peut devenir trois jetons. Le modèle ne voit que ces jetons, transformés en nombres.

Deviner la suite

À partir de tout ce qui précède, le modèle calcule une probabilité pour chaque jeton possible, en choisit un, l'ajoute au texte, puis recommence. Une réponse de 300 mots, c'est quelques centaines de tours de cette boucle.

L'attention : regarder le bon endroit

La pièce maîtresse de ces modèles s'appelle le Transformer, décrite en 2017 par des chercheurs de Google. Son idée clé, l'« attention », permet au modèle de regarder en même temps tous les mots déjà écrits et de décider lesquels comptent pour la suite. Dans « Le chat a renversé le verre parce qu'il était maladroit », l'attention aide à relier « il » à « chat » plutôt qu'à « verre ».

Ce que ça veut dire pour vous

• Une IA peut écrire quelque chose de faux avec beaucoup d'assurance : elle produit du texte probable, pas du texte vérifié.
• Plus la question est précise et accompagnée de contexte, meilleure est la réponse.
• Pour répondre à partir de vos documents, on lui donne ces documents au moment de la question (voir l'article sur le RAG).