Onlangs gepubliceerd in een onderzoeksartikel getiteld “Laat geen context achter: efficiënte oneindige contexttransformatoren met oneindige aandacht”*, Infinite-Attention is een nieuwe technologie van Google waarmee de zoekmachine zijn huidige kunstmatige intelligentiemodellen kan verbeteren bij het verwerken van enorme hoeveelheden gegevens met oneindig lange contexten. 

Ontwerp van Freepik 

Wat is oneindige aandacht?

Om het belang van deze nieuwe technologie volledig te begrijpen, is het belangrijk om dat te weten LLM (LGrote taalmodellen) zijn beperkt in de hoeveelheid gegevens die ze tegelijkertijd kunnen verwerken. In de huidige modellen kan het geheugengebruik aanzienlijk toenemen, terwijl het werkvermogen afneemt zodra de berekening complexer wordt. “Geheugen is de hoeksteen van intelligentie”, leggen de onderzoekers uit, het is daarom absoluut noodzakelijk om de financiële kosten te verlagen. 

Daarom benadrukken de onderzoekers ook dat: 

• “Op transformatoren gebaseerde LLM’s […] hebben een beperkt contextueel geheugen, vanwege de aard van het aandachtsmechanisme...” 
• “Het opschalen van LLM’s naar langere reeksen (d.w.z. 1 miljoen tokens) is een uitdaging met standaard Transformer-architecturen, en het bedienen van steeds langere contextmodellen wordt financieel kostbaar.”
• “De huidige transformatormodellen zijn beperkt in hun vermogen om lange reeksen te verwerken vanwege de kwadratische toename van de reken- en geheugenkosten. Infinite-Attention heeft tot doel dit schaalbaarheidsprobleem op te lossen.”

 

Kenmerken van oneindige aandacht

Google's Infinite Attention is klaar voor gebruik en past gemakkelijk in andere LLM-modellen, met name die welke worden gebruikt door het hoofdalgoritme van Google. Deze belangrijkste kenmerken zijn: 

• Zoon compressief geheugensysteem waardoor het informatie kan comprimeren tijdens een lange gegevensreeks. Wanneer gegevens worden geïntroduceerd, worden de oudste gegevens gereduceerd om de gegevensopslag te optimaliseren.
• Zoon lineaire aandacht op lange termijn waardoor het gegevens kan verwerken die eerder in de lange gegevensreeks voorkomen tijdens taken waarbij context bestaat op een groot gegevensvlak. Vanuit gebruikersperspectief is dit hetzelfde als het bespreken van een boek in de context van alle hoofdstukken, terwijl je toch het algemene plan en de verbindingen tussen de hoofdstukken kunt uitleggen.
• Zoon lokale gemaskeerde aandacht die nabijgelegen (gelokaliseerde) delen van de invoergegevens verwerkt. Deze aandacht is erg handig voor antwoorden die afhankelijk zijn van de dichtstbijzijnde delen van de gegevens.

 

Test resultaten

De onderzoekers leggen uit dat het Transformers-probleem kan worden opgelost door de kenmerken van Infinite-Attention (compressie, langetermijn- en lokale aandacht) te combineren in één enkel Transformer-blok. Ze noemen dit aandachtsmechanisme het "vanille-aandachtsmechanisme”. Zoals zij aangeven, “Infinite-Attention integreert compressief geheugen in het vanille-aandachtsmechanisme en integreert zowel gemaskeerde lokale aandacht als lineaire aandachtsmechanismen op lange termijn in een enkel Transformer-blok”.

Er werden drie tests uitgevoerd door de onderzoekers:

• Taalkundige modellering in lange context met zijn perplexiteitsscore: De onderzoekers melden dat bij toenemende trainingsvolgorde de perplexiteitsscore van modellen met oneindige aandacht afneemt, wat de eerste indicator is dat ze beter presteren dan basismodellen. 
• De hoofdsleutel: Hierna volgen de resultaten van de boilerplate-test, d.w.z. de mogelijkheid om verborgen tekst aan het begin, midden of einde van een lange reeks te vinden, wat de kwaliteit van de modellen met Infini-aandacht bevestigt. 
• De samenvatting van het boek: De uitmuntendheid van de modellen met Infini-Attention wordt bevestigd door de samenvattende testresultaten uit het boek, die beter presteren dan de belangrijkste benchmarks en nieuwe niveaus van SOTA-prestaties bereiken**.

“Ons model presteert beter dan eerdere beste resultaten en bereikt een nieuwe SOTA op BookSum, waarbij de volledige boektekst wordt verwerkt. […] Er is een duidelijke trend die aantoont dat onze Infinite-Transformers hun samenvattende prestatiestatistiek verbeteren als er meer tekst als invoer uit boeken wordt aangeleverd.”

Infinite-Attention is een doorbraak in het modelleren van aandacht op lange en korte termijn. DE “plug-and-play continue pre-workout” et “aanpassing aan de lange context door ontwerp”, betekent dat het eenvoudig kan worden geïntegreerd in bestaande modellen.

 

Gevolgen voor SEO en UX

Nu we dit allemaal hebben begrepen, is het volkomen legitiem om de vraag te stellen naar de gevolgen voor SEO en UX. Hier zijn de eerste ideeën:

• Oneindige aandacht kan worden geïntegreerd in het kernalgoritme van Google best gemakkelijk. Misschien zien we het snel geïmplementeerd worden.
• Deze technologie zou de motor daartoe in staat kunnen stellentrain uw AI wanneer er nieuwe inhoud op internet wordt ontdekt en begrijp het belang van elke nieuwe inhoud of het nu aan het begin, in het midden of aan het einde van de lange reeks is (bijvoorbeeld over een bepaald onderwerp). Daarom is het niet verrassend dat onderzoekers praten “oneindig lange inzendingen”.
• Vanuit het oogpunt van de motor is het belangrijk ETEN***, omdat de motor dat wil “laat geen context achter”, dat wil zeggen: de ervaring en expertise van een auteur over een specifiek onderwerp beter beoordelen op basis van alle informatie die hij over een onderwerp heeft. 
• Vanuit het oogpunt van gebruikerservaring is Dankzij oneindige aandacht kan de engine zich beter aanpassen aan de behoeften van zijn gebruikers en daarom zo lang mogelijk op haar site te bewaren. Het was inderdaad niet nodig om alle boeken over een bepaald onderwerp te lezen als AI al onze vragen kon beantwoorden, inclusief de meest geavanceerde, in een lange en complexe context. 

 

In het kort

De toekomst van SEO ligt in het creëren van relevante content voor de gebruikerservaring door het integreren van expertise, maar vooral ervaring en het vermogen om zich aan te passen aan de ontwikkelingen in AI.  

 

Referenties:

* Laat geen context achter: efficiënte oneindige contexttransformatoren met oneindige aandacht (Geen context achterlatend: efficiënte oneindige contexttransformatoren met oneindige aandacht) 

** Een DNN-netwerk (Deep Neural Networks) kan het SOTA-label (state-of-the-art) verkrijgen op basis van zijn nauwkeurigheid, snelheid of enige andere relevante maatstaf. State-of-the-art Deep Neural Networks (DNN) (SOTA) zijn de beste modellen die u voor een specifieke taak kunt gebruiken.

*** EEAT (Experience, Expertise, Authoritativeness, and Trustworthiness) maakt deel uit van de ‘Search Quality Rater Guidelines’ van Google.

 

 

Rossitza Mavreau, Lead Traffic Manager SEO SEA Analytics bij UX-Republic