Apa itu Attention?
Dalam model bahasa, Attention membantu model mempertimbangkan hubungan antar token dalam sebuah urutan. Alih-alih memperlakukan semua kata dengan tingkat kepentingan sama, mekanisme ini menghitung bagian mana yang paling berguna sebagai konteks. Self-attention menjadi komponen utama arsitektur Transformer yang digunakan banyak LLM modern.
Dalam kalimat “Saya duduk di bank dekat sungai”, kata “sungai” membantu menafsirkan “bank” sebagai tepi sungai, bukan lembaga keuangan. Mekanisme attention dapat memberi bobot lebih besar pada kata konteks yang membantu membedakan makna tersebut.
Cara kerja sederhana
Untuk setiap bagian input, model menghitung skor relevansi terhadap bagian lain. Skor tersebut digunakan sebagai bobot untuk menggabungkan informasi yang diperlukan sebelum membuat representasi berikutnya atau memprediksi token selanjutnya. Dengan cara ini, kata yang jauh posisinya masih dapat memengaruhi interpretasi bila konteksnya relevan.
Kenapa Anda perlu memahaminya?
Attention menjelaskan mengapa LLM dapat memakai konteks dalam satu prompt dan menangkap hubungan antara bagian-bagian teks. Konsep ini juga membantu memahami kaitan antara Transformer, Token, dan Context Window. Bagi pengguna, pelajaran praktisnya adalah konteks yang jelas serta relevan biasanya lebih membantu daripada konteks panjang yang acak.
Kesalahpahaman yang umum
Attention bukan perhatian atau kesadaran seperti manusia, dan bukan jaminan bahwa model “memahami” suatu teks. Attention adalah mekanisme perhitungan. Ia juga bukan keseluruhan Transformer; Transformer memakai attention bersama komponen lain dalam arsitekturnya.
Catatan penting sebelum menggunakannya
Bobot attention tidak selalu dapat dijadikan penjelasan lengkap mengapa model menghasilkan suatu jawaban. Attention penuh pada urutan sangat panjang juga membutuhkan komputasi dan memori besar, sehingga model dapat memakai optimasi tertentu. Model tetap dapat salah karena data, konteks, atau keterbatasan penalaran.