Publiée récemment dans un document de recherche intitulé “Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention”*, l’Infini-attention est une nouvelle technologie de Google qui permet au moteur de recherche d’améliorer ses modèles d’intelligence artificielle actuelles dans le traitement des quantités massives de données avec des contextes infiniment longs. 

Design by Freepik 

Qu’est-ce que l’Infini-attention ?

Pour bien comprendre l’importance de cette nouvelle technologie, il est important de savoir que les LLM (Large Language Models) sont limités par rapport à la quantité de données qu’ils peuvent traiter en même temps. En effet, dans les modèles actuels l’utilisation de la mémoire peut augmenter considérablement tandis que la puissance de travail diminue dès que le calcul se complexifie. “La mémoire est la pierre angulaire de l’intelligence”, expliquent les chercheurs, il est donc impératif d’en réduire les coûts financiers. 

De ce fait, les chercheurs soulignent aussi que : 

• “Les LLM basés sur les Transformers […] ont une mémoire contextuelle limitée, en raison de la nature du mécanisme d’attention…” 
• “La mise à l’échelle des LLMs pour des séquences plus longues (c’est-à-dire 1M tokens) est un défi avec les architectures Transformer standard, et servir des modèles de contexte de plus en plus longs devient financièrement coûteux.”
• “Les modèles de transformateurs actuels sont limités dans leur capacité à traiter de longues séquences en raison de l’augmentation quadratique des coûts de calcul et de mémoire. Infini-attention vise à résoudre ce problème d’évolutivité.”

 

Caractéristiques de l’Infini-attention

L’Infini-attention de Google est prête à l’emploi, elle s’insère facilement dans d’autres modèles LLM et notamment ceux utilisés par l’algorithme principal de Google. Ces principales caractéristiques sont : 

• Son système de mémoire compressive qui lui permet de compresser des informations lors d’une longue séquence de données. Quand les données sont introduites, les plus anciennes sont réduites afin d’optimiser le stockage des données.
• Son attention linéaire à long terme qui lui permet de traiter des données qui existent plus tôt dans la longue séquence de données lors de tâches où le contexte existe sur un plan large de données. D’un point de vue utilisateur, cela s’apparente à une discussion autour d’un livre dans le contexte de tous les chapitres tout en étant capable d’expliquer le plan global et les liaisons entre les chapitres.
• Son attention masquée locale qui traite les parties proches (localisées) des données d’entrée. Cette attention est très utile pour les réponses qui dépendent des parties les plus proches des données.

 

Résultats des tests

Les chercheurs expliquent que le problème des Transformers peut être résolu en combinant les caractéristiques de l’Infini-attention (compression, attention à long terme et locale) dans un seul bloc Transformer. Ils appellent ce mécanisme d’attention le “vanilla attention mechanism”.  Comme ils le soulignent, “l’Infini-attention incorpore une mémoire compressive dans le mécanisme d’attention vanille et intègre à la fois l’attention locale masquée et les mécanismes d’attention linéaire à long terme dans un seul bloc Transformer”.

Trois tests ont été réalisés par les chercheurs:

• La modélisation linguistique en contexte long avec son score de perplexité : Les chercheurs indiquent qu’avec l’augmentation de la séquence d’entraînement, le score de perplexité des modèles avec Infini-attention baisse, ce qui est le premier indicateur qu’ils sont plus performants que les modèles de base. 
• Le passe-partout : Suivent les résultats du test du passe-partout, soit la capacité à retrouver un texte caché au début, milieu ou à la fin d’une longue séquence qui viennent confirmer la qualité des modèles avec Infini-attention. 
• Le résumé du livre : L’excellence des modèles avec Infini-attention se confirme avec les résultats au test de résumé de livre qui surpassent les principaux benchmarks pour atteindre de nouveaux niveaux de performance SOTA**.

“Notre modèle surpasse les meilleurs résultats précédents et atteint un nouveau SOTA sur BookSum, en traitant le texte entier du livre. […] Il y a une tendance claire montrant qu’avec plus de texte fourni en entrée à partir des livres, nos Infini-Transformateurs améliorent leur métrique de performance de résumé.”

L’infini-attention est une percée dans la modélisation de l’attention à long et à court terme.  Le “pré-entraînement continu plug-and-play” et “l’adaptation au contexte long par conception”, signifie qu’il peut être facilement intégré dans les modèles existants.

 

Impacts pour le SEO et l’UX

Ayant compris tout cela, il est tout à fait légitime de se poser la question des impacts pour le SEO et pour l’UX. Voici les premières idées:

• L’infini-attention peut-être intégrée à l’algorithme de base de Google assez facilement. Nous la verrons peut-être en application rapidement.
• Cette technologie pourrait permettre au moteur d’entraîner son IA au fur et à mesure que de nouveaux contenus sont découverts sur la toile et de comprendre l’importance de chaque nouveau contenu qu’il se trouve au début, au milieu ou à la fin de la longue séquence (sur un sujet en particulier par exemple). De ce fait, ce n’est pas étonnant que les chercheurs parlent “d’entrées infiniment longues”.
• C’est important pour le moteur du point de vue EEAT***, puisque le moteur souhaite “ne laisser aucun contexte derrière lui”, c’est-à-dire mieux juger l’expérience et l’expertise d’un auteur sur un sujet précis en fonction de toute l’information dont il dispose sur un sujet. 
• D’un point de vue expérience utilisateur, l’Infini-attention permettra au moteur de mieux s’adapter aux besoins de ses utilisateurs et par conséquent de les garder le plus longtemps possible sur son site. En effet, nul besoin de lire tous les livres sur un sujet si l’IA pouvait répondre à toutes nos questions, y compris les plus pointues, dans un contexte long et complexe. 

 

En bref

L’avenir du SEO réside dans la création d’un contenu pertinent pour l’expérience utilisateur en y intégrant de l’expertise, mais surtout de l’expérience et une capacité d’adaptation aux évolutions de l’IA.  

 

Références :

* Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention (Ne laisser aucun contexte derrière soi : Transformateurs de contexte infini efficaces avec l’infini-attention) 

** Un réseau DNN (Deep Neural Networks / réseaux neuronaux profonds) peut obtenir le label SOTA (state-of-the-art / état de l’art) sur la base de sa précision, de sa vitesse ou de toute autre mesure pertinente. Les réseaux neuronaux profonds (DNN) de pointe (SOTA) sont les meilleurs modèles que vous puissiez utiliser pour une tâche spécifique.

*** E-E-A-T (Experience, Expertise, Authoritativeness, and Trustworthiness) fait partie des “Google’s Search Quality Rater Guidelines”.

 

 

Rossitza Mavreau, Lead Traffic Manager SEO SEA Analytics chez UX-Republic