Baru-baru ini diterbitkan dalam kertas penyelidikan bertajuk “Jangan Tinggalkan Konteks Di Belakang: Pengubah Konteks Infinite yang Cekap dengan Perhatian Tidak Terhingga”*, Infinite-attention ialah teknologi baharu daripada Google yang membolehkan enjin carian memperbaik model kecerdasan buatan semasanya dalam memproses sejumlah besar data dengan konteks yang tidak terhingga panjang. 

Reka bentuk oleh Freepik 

Apakah Perhatian Tidak Terhingga?

Untuk memahami sepenuhnya kepentingan teknologi baharu ini, adalah penting untuk mengetahuinya LLM (LModel Bahasa Besar) terhad dalam jumlah data yang boleh diproses pada masa yang sama. Malah, dalam model semasa penggunaan memori boleh meningkat dengan ketara manakala kuasa kerja berkurangan sebaik sahaja pengiraan menjadi lebih kompleks. “Ingatan adalah asas kecerdasan”, jelaskan penyelidik, oleh itu adalah penting untuk mengurangkan kos kewangan. 

Oleh itu, penyelidik juga menekankan bahawa: 

• “LLM berasaskan Transformer […] mempunyai ingatan kontekstual yang terhad, disebabkan oleh sifat mekanisme perhatian…” 
• "Menskalakan LLM kepada jujukan yang lebih panjang (iaitu token 1M) adalah mencabar dengan seni bina Transformer standard, dan menyediakan model konteks yang lebih panjang dan lebih panjang menjadi mahal dari segi kewangan."
• “Model pengubah semasa adalah terhad dalam keupayaan mereka untuk memproses jujukan panjang disebabkan peningkatan kuadratik dalam kos pengiraan dan ingatan. Perhatian tanpa had bertujuan untuk menyelesaikan masalah kebolehskalaan ini.”

 

Ciri-ciri Perhatian Tidak Terhingga

Infinite-Attention Google sedia untuk digunakan, ia mudah sesuai dengan model LLM lain, terutamanya yang digunakan oleh algoritma utama Google. Ciri-ciri utama ini ialah: 

• Kesimpulan sistem ingatan mampatan yang membolehkannya memampatkan maklumat semasa urutan data yang panjang. Apabila data diperkenalkan, data tertua dikurangkan untuk mengoptimumkan storan data.
• Kesimpulan perhatian linear jangka panjang yang membolehkannya memproses data yang wujud lebih awal dalam urutan data yang panjang semasa tugasan di mana konteks wujud pada satah data yang luas. Dari perspektif pengguna, ini seperti membincangkan buku dalam konteks semua bab sambil masih dapat menerangkan rancangan keseluruhan dan hubungan antara bab.
• Kesimpulan perhatian bertopeng tempatan yang memproses bahagian berhampiran (disetempatkan) data input. Perhatian ini sangat berguna untuk jawapan yang bergantung pada bahagian terdekat data.

 

Keputusan ujian

Para penyelidik menjelaskan bahawa masalah Transformers boleh diselesaikan dengan menggabungkan ciri-ciri Infinite-Attention (mampatan, perhatian jangka panjang dan tempatan) ke dalam satu blok Transformer. Mereka memanggil mekanisme perhatian ini sebagai "mekanisme perhatian vanila”. Seperti yang mereka nyatakan, "Infinite-Attention menggabungkan memori mampatan ke dalam mekanisme perhatian vanila dan menyepadukan kedua-dua perhatian tempatan bertopeng dan mekanisme perhatian linear jangka panjang ke dalam satu blok Transformer".

Tiga ujian telah dijalankan oleh penyelidik:

• Pemodelan linguistik dalam konteks panjang dengan skor kebingungannya: Para penyelidik melaporkan bahawa dengan peningkatan urutan latihan, skor kebingungan model dengan Infinite-attention menurun, yang merupakan penunjuk pertama yang menunjukkan prestasi yang lebih baik daripada model garis dasar. 
• Kunci induk: Keputusan ujian boilerplate mengikut, iaitu keupayaan untuk mencari teks tersembunyi pada permulaan, tengah atau akhir urutan yang panjang, yang mengesahkan kualiti model dengan Infini-attention. 
• Ringkasan buku tersebut: Kecemerlangan model dengan Infini-Attention disahkan dengan keputusan ujian ringkasan buku yang mengatasi penanda aras utama untuk mencapai tahap baharu prestasi SOTA**.

“Model kami mengatasi hasil terbaik sebelum ini dan mencapai SOTA baharu pada BookSum, memproses keseluruhan teks buku. […] Terdapat aliran yang jelas menunjukkan bahawa dengan lebih banyak teks yang disediakan sebagai input daripada buku, Infinite-Transformers kami meningkatkan metrik prestasi ringkasan mereka.”

Infinite-Attention ialah satu kejayaan dalam memodelkan perhatian jangka panjang dan pendek. THE "plug-and-play pra-senaman berterusan" et "penyesuaian kepada konteks yang panjang dengan reka bentuk", bermakna ia boleh disepadukan dengan mudah ke dalam model sedia ada.

 

Kesan untuk SEO dan UX

Setelah memahami semua ini, adalah sah untuk bertanya soalan tentang kesan untuk SEO dan UX. Berikut ialah idea pertama:

• Perhatian yang tidak terhingga mungkin disepadukan ke dalam algoritma teras Google agak mudah. Kita mungkin melihat ia dilaksanakan dengan cepat.
• Teknologi ini boleh membolehkan enjin untuklatih AI anda apabila kandungan baharu ditemui di web dan fahami kepentingan setiap kandungan baharu sama ada di awal, di tengah atau di penghujung urutan yang panjang (pada subjek tertentu misalnya). Oleh itu, tidak hairanlah penyelidik bercakap “entri yang sangat panjang”.
• Ia penting untuk enjin dari sudut pandangan MAKAN***, kerana enjin mahu "jangan tinggalkan konteks", maksudnya, lebih baik menilai pengalaman dan kepakaran seseorang pengarang mengenai subjek tertentu berdasarkan semua maklumat yang dia ada mengenai subjek. 
• Dari sudut pengalaman pengguna, Perhatian tanpa had akan membolehkan enjin menyesuaikan diri dengan lebih baik dengan keperluan penggunanya dan oleh itu untuk mengekalkannya di tapaknya selama mungkin. Sesungguhnya, tidak perlu membaca semua buku mengenai subjek jika AI dapat menjawab semua soalan kami, termasuk yang paling maju, dalam konteks yang panjang dan kompleks. 

 

Pendek

Masa depan SEO terletak pada penciptaan kandungan yang relevan dengan pengalaman pengguna dengan menyepadukan kepakaran, tetapi di atas semua pengalaman dan keupayaan untuk menyesuaikan diri dengan perkembangan dalam AI.  

 

Rujukan:

* Tiada Konteks Di Belakang: Transformer Konteks Infinite yang Cekap dengan Perhatian Infinite (Tiada Meninggalkan Konteks Di Belakang: Transformer Konteks Infinite yang Cekap dengan Perhatian Infinite-Attention) 

** Rangkaian DNN (Rangkaian Neural Dalam) boleh mendapatkan label SOTA (teknologi terkini) berdasarkan ketepatan, kelajuan atau sebarang metrik lain yang berkaitan . Rangkaian Neural Dalam (DNN) (SOTA) terkini ialah model terbaik yang boleh anda gunakan untuk tugas tertentu.

*** EEAT (Pengalaman, Kepakaran, Kewibawaan dan Kebolehpercayaan) ialah sebahagian daripada "Garis Panduan Penilai Kualiti Carian Google".

 

 

Rossitza Mavreau, Pengurus Trafik Utama SEO SEA Analytics di UX-Republic