Apa itu Transformer?
Transformer adalah arsitektur deep learning yang menggunakan mekanisme attention untuk memproses hubungan antarbagian input. Transformer memungkinkan model memperhatikan bagian konteks yang berbeda ketika menghasilkan jawaban dan menjadi fondasi banyak LLM modern.
Saat sebuah model membaca paragraf panjang, attention membantu model menilai kata atau bagian mana yang paling relevan dengan pertanyaan.