Natural Language Processing
Depuis les années 1950, les chercheurs tentent d’apprendre aux ordinateurs à comprendre notre langue. Le traitement automatique du langage naturel, qu’on appelle plus volontiers NLP dans les milieux spécialisés, a longtemps buté sur les mêmes obstacles : comment saisir les subtilités, les doubles sens, le contexte changeant d’une conversation ? Les premières machines fonctionnaient avec des dictionnaires figés et des règles grammaticales rigides. Puis sont venues les approches statistiques dans les années 2000, qui ont apporté leur lot d’améliorations sans vraiment résoudre le problème de fond.
L’année 2017 marque un basculement. Sur le campus de Mountain View, Ashish Vaswani et Jakob Uszkoreit discutent de traduction automatique dans un couloir. Une conversation anodine en apparence, qui va déboucher sur quelque chose d’inattendu. Leur équipe compte huit chercheurs de Google, dont Illia Polosukhin, amateur de science-fiction. C’est justement un film, Premier Contact, qui lui donne une idée. Dans cette histoire, les extraterrestres communiquent avec des symboles qui expriment des concepts entiers d’un seul coup, sans suivre notre logique séquentielle habituelle. Pourquoi les machines ne pourraient-elles pas faire pareil avec les phrases ?
Cette réflexion conduit au concept d’auto-attention : au lieu d’analyser les mots les uns après les autres comme on lit un livre, le système embrasse la phrase dans sa globalité. Tous les mots dialoguent entre eux simultanément. Noam Shazeer, qui travaille chez Google depuis 2000 et a créé la fameuse fonction « Vouliez-vous dire ? », entend parler du projet dans les bureaux. Il rejoint l’aventure. Les premiers essais sur des traductions anglais-allemand donnent des résultats encourageants.
L’architecture Transformer qui en résulte est plus rapide et plus précise que les réseaux neuronaux récurrents d’avant, et elle ne se limite pas au texte. Le modèle traite des images, du code informatique, des séquences d’ADN. Cette polyvalence surprend ses créateurs.
L’année suivante, une autre équipe de Google AI publie BERT. L’acronyme cache une idée simple : lire dans les deux sens. Le contexte d’un mot dépend de ce qui vient avant, mais aussi de ce qui suit. BERT performe sur onze tâches différentes de traitement du langage, battant les records précédents.
Curieusement, les huit chercheurs à l’origine des Transformers quittent tous Google dans les années qui suivent. Chacun fonde sa société, exploite la technologie dans sa direction. Aidan Gomez lance Cohere pour les entreprises, Jakob Uszkoreit crée Inceptive et applique les Transformers aux vaccins, Noam Shazeer développe Character.ai où les utilisateurs conçoivent leurs propres agents conversationnels. Vaswani et Parmar montent Essential.ai. On retrouve là un schéma classique : les grandes structures peinent à transformer leurs découvertes en produits commerciaux. Les chercheurs partent créer ailleurs.
Cette base architecturale nourrit depuis tous les modèles de langage modernes. La capacité à traiter d’énormes volumes de données, à tisser des liens complexes entre les éléments d’une séquence, fait des Transformers un outil incontournable. Les applications se multiplient : traduction plus naturelle, génération de texte cohérent, analyse documentaire, systèmes de questions-réponses performants. Les machines s’approchent des nuances du langage humain, comprennent mieux les relations entre les idées.
Du traitement mot à mot des débuts aux systèmes d’attention contemporains, chaque étape a rapproché les ordinateurs de notre complexité linguistique. Les Transformers ne sont pas qu’une prouesse technique. Ils servent de socle à une cascade d’innovations dans des domaines variés : médecine, recherche scientifique, éducation. La communauté scientifique développe sans cesse de nouvelles variantes.
À mesure que ces modèles gagnent en sophistication, ils modifient notre rapport à la technologie. La frontière entre communication humaine et interaction machine est plus floue. Les développements futurs promettent de nouvelles possibilités, tout en soulevant des questions d’éthique et de responsabilité. Jusqu’où ira cette capacité des systèmes à comprendre et produire du langage naturel ? La réponse s’écrit jour après jour, dans les laboratoires comme dans nos usages quotidiens.