Apa itu Attention?
Attention adalah mekanisme dalam neural network, khususnya Transformer, yang memberi bobot berbeda pada bagian-bagian input. Dengan attention, model dapat menghubungkan kata, kalimat, objek, atau bagian konteks yang saling berkaitan.
Dalam kalimat panjang, attention membantu model menghubungkan kata ganti dengan objek yang dimaksud sebelumnya.