Kürzlich veröffentlicht in einem Forschungspapier mit dem Titel „„Keinen Kontext zurücklassen: Effiziente Transformatoren für unendliche Kontexte mit unendlicher Aufmerksamkeit“*, Infinite Attention ist eine neue Technologie von Google, die es der Suchmaschine ermöglicht, ihre aktuellen Modelle künstlicher Intelligenz zu verbessern. bei der Verarbeitung riesiger Datenmengen mit unendlich langen Kontexten. 

Design von Freepik 

Was ist Unendlichkeitsaufmerksamkeit?

Um die Bedeutung dieser neuen Technologie vollständig zu verstehen, ist es wichtig zu wissen, dass die LLM (Lgroße Sprachmodelle) sind in der Datenmenge begrenzt, die sie gleichzeitig verarbeiten können. Tatsächlich kann bei aktuellen Modellen der Speicherbedarf erheblich ansteigen, während die Arbeitsleistung abnimmt, sobald die Berechnung komplexer wird. „Das Gedächtnis ist der Grundstein der Intelligenz“, erläutern die Forscher, sei es daher zwingend notwendig, den finanziellen Aufwand zu senken. 

Daher weisen die Forscher auch darauf hin, dass: 

• „Transformer-basierte LLMs […] haben aufgrund der Natur des Aufmerksamkeitsmechanismus ein begrenztes Kontextgedächtnis …“ 
• „Die Skalierung von LLMs auf längere Sequenzen (z. B. 1 Million Token) ist mit Standard-Transformer-Architekturen eine Herausforderung und die Bereitstellung immer längerer Kontextmodelle wird finanziell kostspielig.“
• „Aktuelle Transformatormodelle sind aufgrund des quadratischen Anstiegs der Rechen- und Speicherkosten in ihrer Fähigkeit zur Verarbeitung langer Sequenzen eingeschränkt. Infinite-Attention zielt darauf ab, dieses Skalierbarkeitsproblem zu lösen.“

 

Eigenschaften der Unendlichkeitsaufmerksamkeit

Googles Infinite Attention ist sofort einsatzbereit und lässt sich problemlos in andere LLM-Modelle integrieren, einschließlich derer, die vom Kernalgorithmus von Google verwendet werden. Diese Hauptmerkmale sind: 

• Konklusion Komprimierungsspeichersystem Dadurch können Informationen während einer langen Datensequenz komprimiert werden. Bei der Dateneingabe werden die ältesten Daten reduziert, um die Datenspeicherung zu optimieren.
• Konklusion langfristige lineare Aufmerksamkeit Dadurch kann es Daten verarbeiten, die früher in der langen Datensequenz vorhanden sind, und zwar in Aufgaben, bei denen der Kontext über eine breite Datenebene hinweg vorhanden ist. Aus Benutzersicht ist dies vergleichbar mit der Besprechung eines Buches im Kontext aller Kapitel, wobei man dennoch den Gesamtplan und die Zusammenhänge zwischen den Kapiteln erklären kann.
• Konklusion lokale maskierte Aufmerksamkeit welches die nahegelegenen (lokalisierten) Teile der Eingabedaten verarbeitet. Diese Aufmerksamkeit ist sehr nützlich für Antworten, die von den nächstgelegenen Teilen der Daten abhängen.

 

Testergebnisse

Die Forscher erklären, dass das Transformer-Problem gelöst werden kann, indem die Funktionen der unendlichen Aufmerksamkeit (Komprimierung, langfristige und lokale Aufmerksamkeit) in einem einzigen Transformer-Block kombiniert werden. Sie nennen diesen Aufmerksamkeitsmechanismus den "Vanilla-Aufmerksamkeitsmechanismus“. Sie weisen darauf hin, „Infinite-Attention integriert komprimiertes Gedächtnis in den Vanilla-Aufmerksamkeitsmechanismus und integriert sowohl maskierte lokale Aufmerksamkeit als auch langfristige lineare Aufmerksamkeitsmechanismen in einen einzigen Transformer-Block.“

Die Forscher führten drei Tests durch:

• Langkontext-linguistische Modellierung mit ihrem Perplexitätswert: Die Forscher berichten, dass der Perplexitätswert der Modelle mit unendlicher Aufmerksamkeit mit zunehmender Trainingssequenz sinkt, was ein erster Hinweis darauf ist, dass sie eine bessere Leistung als die Basismodelle erbringen. 
• Der Hauptschlüssel: Es folgen die Ergebnisse des Master-Key-Tests, also der Fähigkeit, einen versteckten Text am Anfang, in der Mitte oder am Ende einer langen Sequenz zu finden, welche die Qualität der Modelle mit Infini-Attention bestätigen. 
• Die Buchzusammenfassung: Die hervorragende Leistung der Modelle mit Infini-Attention wird durch die Ergebnisse des Buchzusammenfassungstests bestätigt, die die wichtigsten Benchmarks übertreffen und neue SOTA-Leistungsniveaus erreichen**.

„Unser Modell übertrifft bisherige Bestwerte und erreicht einen neuen SOTA bei BookSum, indem es den gesamten Buchtext verarbeitet. […] Es gibt einen klaren Trend: Je mehr Text aus Büchern als Input bereitgestellt wird, desto besser funktioniert die Zusammenfassungsleistung unserer Infinite-Transformer.“

Infinity-Attention ist ein Durchbruch in der Modellierung von langfristiger und kurzfristiger Aufmerksamkeit. DER „Plug-and-Play-Pre-Workout für Dauerbelastung“ et „langfristige Kontextanpassung durch Design“, ermöglicht eine einfache Integration in bestehende Modelle.

 

Auswirkungen auf SEO und UX

Nachdem wir all dies verstanden haben, ist es völlig legitim, die Frage nach den Auswirkungen auf SEO und UX zu stellen. Hier sind die ersten Ideen:

• Unendliche Aufmerksamkeit kann in den Kernalgorithmus von Google integriert werden ganz einfach. Möglicherweise sehen wir es bald in der Anwendung.
• Diese Technologie könnte es dem Motor ermöglichen,Trainieren Sie Ihre KI, wenn neue Inhalte im Web entdeckt werden, und verstehen Sie die Bedeutung jedes neuen Inhalts sei es am Anfang, in der Mitte oder am Ende einer langen Sequenz (zum Beispiel zu einem bestimmten Thema). Daher ist es nicht verwunderlich, dass Forscher sprechen „unendlich lange Einträge“.
• Dies ist wichtig für den Motor aus der Sicht ESSEN***, da der Motor will „Keinen Kontext hinterlassen“, das heißt, die Erfahrung und das Fachwissen eines Autors zu einem bestimmten Thema anhand aller Informationen, die ihm zu einem Thema vorliegen, besser beurteilen zu können. 
• Aus Sicht der Benutzererfahrung Durch die unendliche Aufmerksamkeit kann sich die Engine besser an die Bedürfnisse ihrer Benutzer anpassen und sie daher so lange wie möglich auf seiner Site zu halten. Tatsächlich wäre es nicht notwendig, alle Bücher zu einem Thema zu lesen, wenn die KI alle unsere Fragen, auch die spezifischsten, in einem langen und komplexen Kontext beantworten könnte. 

 

Kurzum

Die Zukunft der Suchmaschinenoptimierung liegt in der Erstellung von Inhalten, die für die Benutzererfahrung relevant sind, indem Fachwissen, vor allem aber Erfahrung und die Fähigkeit integriert werden, sich an Änderungen in der KI anzupassen.  

 

Referenzen:

* Keinen Kontext zurücklassen: Effiziente Infinite Context Transformers mit Infinite-Attention (Keinen Kontext zurücklassen: Effiziente Transformatoren für unendliche Kontexte mit Infinity-Attention) 

** Ein DNN (Deep Neural Networks) kann das SOTA-Label (State-of-the-Art) basierend auf seiner Genauigkeit, Geschwindigkeit oder anderen relevanten Metrik erhalten. Hochmoderne (SOTA) tiefe neuronale Netzwerke (DNNs) sind die besten Modelle, die Sie für eine bestimmte Aufgabe verwenden können.

*** EEAT (Erfahrung, Fachwissen, Autorität und Vertrauenswürdigkeit) ist Teil der „Google Search Quality Rater Guidelines“.

 

 

Rossitza Mavreau, Lead Traffic Manager SEO SEA Analytics bei UX-Republic