Apa itu Transformer?
Transformer adalah rancangan teknis, bukan nama satu aplikasi AI. Arsitektur ini diperkenalkan dalam riset “Attention Is All You Need” dan sangat berpengaruh pada perkembangan model bahasa besar. Variasinya juga dipakai untuk tugas lain seperti gambar, audio, dan data multimodal.
Dalam kalimat “Saya menabung di bank dekat sungai”, kata “sungai” membantu menentukan bahwa “bank” berarti tepi sungai, bukan lembaga keuangan. Mekanisme attention membantu model memberi bobot pada hubungan konteks semacam itu saat memproses urutan kata.
Cara kerja sederhana
Dalam teks, Transformer mengubah masukan menjadi token lalu memakai self-attention untuk menilai bagian mana yang relevan bagi bagian lain. Misalnya, untuk memahami arti suatu kata, model dapat memperhatikan kata-kata lain yang memberi konteks. Proses ini dijalankan melalui banyak lapisan agar model dapat mempelajari pola yang makin kompleks.
Kenapa Anda perlu memahaminya?
Memahami Transformer membantu pembaca melihat mengapa istilah seperti token, attention, context window, dan LLM saling terkait. Namun pengguna tidak perlu menguasai matematika di baliknya untuk memakai AI dengan baik; yang lebih penting adalah mengetahui bahwa model bekerja dengan pola dan konteks, bukan pemahaman manusiawi.
Kesalahpahaman yang umum
Transformer bukan sinonim LLM. Transformer adalah arsitektur, sedangkan LLM adalah jenis model bahasa besar yang sering dibangun dengan arsitektur Transformer. Attention juga bukan keseluruhan Transformer; attention adalah salah satu mekanisme utamanya.
Catatan penting sebelum menggunakannya
Transformer tidak menjamin model memahami makna seperti manusia atau selalu menghasilkan fakta benar. Pemrosesan attention penuh juga dapat menjadi mahal untuk masukan sangat panjang, sehingga banyak model menggunakan optimasi atau strategi khusus. Kualitas keluaran tetap bergantung pada pelatihan, konteks, dan evaluasi.