Comment ChatGPT comprend le langage ? - Partie 5
L’attention – comment l’IA repère ce qui compte dans ta phrase
Dans les parties précédentes, on a vu comment ChatGPT :
- transforme les mots en chiffres (vecteurs),
- applique des matrices pour adapter leur sens au contexte,
- et fait tout ça à travers des couches successives, qui affinent la compréhension.
Mais il manque encore un ingrédient essentiel.
Un truc que nous, humains, faisons instinctivement quand on lit ou écoute :
👉 Faire attention à ce qui est important.
Et bonne nouvelle : ChatGPT a un outil pour ça. On l’appelle justement…
le mécanisme d’attention.
Pourquoi l’attention est indispensable ?
Lis cette phrase :
"Paul a donné son livre à Marie parce qu’elle voulait le lire."
Tu comprends que "elle", c’est Marie, pas Paul.
Parce que ton cerveau fait attention aux mots autour pour interpréter correctement.
ChatGPT fait la même chose, mais avec des calculs.
Une métaphore simple : une toile de liens
Imagine que chaque mot de ta phrase est un nœud dans une toile.
Le mécanisme d’attention trace des fils entre ces mots, plus ou moins solides.
Par exemple, dans :
"Je veux réserver une table pour deux ce soir"
ChatGPT crée des liens forts entre :
- "réserver" et "table",
- "pour deux" et "table",
- "ce soir" et l’ensemble de la demande.
👉 Il ne lit pas juste de gauche à droite.
Il regarde comment chaque mot est lié aux autres.
L’attention attribue des poids
En pratique, l’attention, c’est une pondération :
- Ce mot est très important → on lui donne plus de poids.
- Celui-ci est secondaire → moins de poids.
ChatGPT ne traite donc pas tous les mots de la même façon.
Il se concentre sur les plus utiles pour comprendre ce que tu veux dire.
Et ça change à chaque couche !
L’attention est recalculée à chaque étage du modèle.
À chaque couche, l’IA reconsidère :
"Et si ce mot-là était plus important que je le pensais ?"
Cela permet de :
- mieux comprendre les phrases longues,
- identifier les relations complexes (qui fait quoi à qui),
- et éviter les malentendus.
Ce qu’il faut retenir
✅ Le mécanisme d’attention permet à ChatGPT de se focaliser sur les bonnes parties de ta phrase, en évaluant les relations entre les mots et en hiérarchisant l’information.
C’est cette capacité qui lui donne l’air "intelligent", car il ne se contente pas de lire : il organise ce qu’il lit.
👉 Dans la prochaine partie, on verra comment l’IA passe de la compréhension à la réponse :
Comment, une fois qu’elle a tout analysé, elle génère mot après mot une phrase cohérente, fluide et parfois étonnamment humaine.
