In einem kürzlich veröffentlichten Forschungsartikel mit dem Titel „ Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention“ * wird Infini-attention als eine neue Technologie von Google beschrieben, die es der Suchmaschine ermöglicht, ihre aktuellen Modelle der künstlichen Intelligenz bei der Verarbeitung massiver Datenmengen mit unendlich langen Kontexten zu verbessern .

Design von Freepik 

Was ist Unendlichkeitsaufmerksamkeit?

Um die Bedeutung dieser neuen Technologie vollständig zu erfassen, ist es entscheidend zu verstehen, dass große Sprachmodelle (LLMs ) hinsichtlich der Menge an Daten, die sie gleichzeitig verarbeiten können, begrenzt sind . Tatsächlich kann es bei aktuellen Modellen zu einem signifikanten Speicherverbrauch kommen, während die Rechenleistung mit zunehmender Komplexität der Berechnungen abnimmt. „ Speicher ist der Grundstein der Intelligenz “, erklären die Forscher, weshalb es unerlässlich ist, die damit verbundenen Kosten zu senken.

Daher weisen die Forscher auch darauf hin, dass: 

• „Transformer-basierte LLMs […] haben aufgrund der Natur des Aufmerksamkeitsmechanismus ein begrenztes Kontextgedächtnis …“ 
• „Die Skalierung von LLMs auf längere Sequenzen (z. B. 1 Million Token) ist mit Standard-Transformer-Architekturen eine Herausforderung und die Bereitstellung immer längerer Kontextmodelle wird finanziell kostspielig.“
• „Aktuelle Transformatormodelle sind aufgrund des quadratischen Anstiegs der Rechen- und Speicherkosten in ihrer Fähigkeit zur Verarbeitung langer Sequenzen eingeschränkt. Infinite-Attention zielt darauf ab, dieses Skalierbarkeitsproblem zu lösen.“

 

Eigenschaften der Unendlichkeitsaufmerksamkeit

Googles Infinite Attention ist sofort einsatzbereit und lässt sich problemlos in andere LLM-Modelle integrieren, einschließlich derer, die vom Kernalgorithmus von Google verwendet werden. Diese Hauptmerkmale sind: 

• Konklusion Komprimierungsspeichersystem Dadurch können Informationen während einer langen Datensequenz komprimiert werden. Bei der Dateneingabe werden die ältesten Daten reduziert, um die Datenspeicherung zu optimieren.
• Konklusion langfristige lineare Aufmerksamkeit Dadurch kann es Daten verarbeiten, die früher in der langen Datensequenz vorhanden sind, und zwar in Aufgaben, bei denen der Kontext über eine breite Datenebene hinweg vorhanden ist. Aus Benutzersicht ist dies vergleichbar mit der Besprechung eines Buches im Kontext aller Kapitel, wobei man dennoch den Gesamtplan und die Zusammenhänge zwischen den Kapiteln erklären kann.
• Konklusion lokale maskierte Aufmerksamkeit welches die nahegelegenen (lokalisierten) Teile der Eingabedaten verarbeitet. Diese Aufmerksamkeit ist sehr nützlich für Antworten, die von den nächstgelegenen Teilen der Daten abhängen.

 

Testergebnisse

Die Forscher erklären, dass das Transformers-Problem durch die Kombination der Merkmale von Infinite Attention (Kompression, Langzeit- und lokale Aufmerksamkeit) in einem einzigen Transformer-Block gelöst werden kann. Sie bezeichnen diesen Aufmerksamkeitsmechanismus als „ Standard-Aufmerksamkeitsmechanismus “. Wie sie ausführen: „Infinite Attention integriert komprimiertes Gedächtnis in den Standard-Aufmerksamkeitsmechanismus und vereint sowohl versteckte lokale Aufmerksamkeit als auch langfristige lineare Aufmerksamkeitsmechanismen in einem einzigen Transformer-Block.“

Die Forscher führten drei Tests durch:

• Langkontext-linguistische Modellierung mit ihrem Perplexitätswert: Die Forscher berichten, dass der Perplexitätswert der Modelle mit unendlicher Aufmerksamkeit mit zunehmender Trainingssequenz sinkt, was ein erster Hinweis darauf ist, dass sie eine bessere Leistung als die Basismodelle erbringen. 
• Der Hauptschlüssel: Es folgen die Ergebnisse des Master-Key-Tests, also der Fähigkeit, einen versteckten Text am Anfang, in der Mitte oder am Ende einer langen Sequenz zu finden, welche die Qualität der Modelle mit Infini-Attention bestätigen. 
• Die Buchzusammenfassung: Die hervorragende Leistung der Modelle mit Infini-Attention wird durch die Ergebnisse des Buchzusammenfassungstests bestätigt, die die wichtigsten Benchmarks übertreffen und neue SOTA-Leistungsniveaus erreichen**.

„Unser Modell übertrifft bisherige Bestwerte und erreicht einen neuen SOTA bei BookSum, indem es den gesamten Buchtext verarbeitet. […] Es gibt einen klaren Trend: Je mehr Text aus Büchern als Input bereitgestellt wird, desto besser funktioniert die Zusammenfassungsleistung unserer Infinite-Transformer.“

Unendliche Aufmerksamkeit stellt einen Durchbruch in der Modellierung von Langzeit- und Kurzzeitaufmerksamkeit dar. Dank des „kontinuierlichen Vortrainings nach dem Plug-and-Play-Prinzip“ und der „systembasierten Langzeitkontextanpassung“ lässt sie sich problemlos in bestehende Modelle integrieren.

 

Auswirkungen auf SEO und UX

Nachdem wir all dies verstanden haben, ist es völlig legitim, die Frage nach den Auswirkungen auf SEO und UX zu stellen. Hier sind die ersten Ideen:

• Unendliche Aufmerksamkeit kann in den Kernalgorithmus von Google integriert werden ganz einfach. Möglicherweise sehen wir es bald in der Anwendung.
• Diese Technologie könnte es dem Motor ermöglichen,Trainieren Sie Ihre KI, wenn neue Inhalte im Web entdeckt werden, und verstehen Sie die Bedeutung jedes neuen Inhalts sei es am Anfang, in der Mitte oder am Ende einer langen Sequenz (zum Beispiel zu einem bestimmten Thema). Daher ist es nicht verwunderlich, dass Forscher sprechen „unendlich lange Einträge“.
• Dies ist wichtig für den Motor aus der Sicht ESSEN***, da der Motor will „Keinen Kontext hinterlassen“, das heißt, die Erfahrung und das Fachwissen eines Autors zu einem bestimmten Thema anhand aller Informationen, die ihm zu einem Thema vorliegen, besser beurteilen zu können. 
• Aus Sicht der Benutzererfahrung Durch die unendliche Aufmerksamkeit kann sich die Engine besser an die Bedürfnisse ihrer Benutzer anpassen und sie daher so lange wie möglich auf seiner Site zu halten. Tatsächlich wäre es nicht notwendig, alle Bücher zu einem Thema zu lesen, wenn die KI alle unsere Fragen, auch die spezifischsten, in einem langen und komplexen Kontext beantworten könnte. 

 

Kurzum

Die Zukunft der Suchmaschinenoptimierung liegt in der Erstellung von Inhalten, die für die Benutzererfahrung relevant sind, indem Fachwissen, vor allem aber Erfahrung und die Fähigkeit integriert werden, sich an Änderungen in der KI anzupassen.  

 

Referenzen:

* Keinen Kontext zurücklassen: Effiziente unendliche Kontexttransformatoren mit unendlicher Aufmerksamkeit

** Ein DNN (Deep Neural Networks) kann das SOTA-Label (State-of-the-Art) basierend auf seiner Genauigkeit, Geschwindigkeit oder anderen relevanten Metrik erhalten. Hochmoderne (SOTA) tiefe neuronale Netzwerke (DNNs) sind die besten Modelle, die Sie für eine bestimmte Aufgabe verwenden können.

*** EEAT (Erfahrung, Fachwissen, Autorität und Vertrauenswürdigkeit) ist Teil der „Google Search Quality Rater Guidelines“.

 

 

Rossitza Mavreau , Lead Traffic Manager SEO SEA Analytics bei UX-Republic