Apa itu In-Context Learning?
Dalam in-context learning, tugas dan contoh diberikan sebagai teks pada percakapan saat ini. Model memakai konteks itu untuk menyesuaikan cara menjawab. Penyesuaian ini bersifat sementara pada konteks tersebut dan bukan proses pelatihan ulang model.
Untuk mengubah judul menjadi kategori, prompt memberi tiga contoh pasangan judul dan kategori. Setelah itu model diminta mengategorikan judul baru dengan format yang sama, tanpa fine tuning.
Cara kerja sederhana
Prompt dapat berisi instruksi, format keluaran, serta beberapa contoh input dan jawaban. Model membaca seluruh konteks itu saat melakukan inference, lalu melanjutkan pola yang ditunjukkan. Ketika konteks tidak dikirim lagi, contoh tersebut tidak menjadi pengetahuan permanen.
Kenapa Anda perlu memahaminya?
Konsep ini menjelaskan mengapa prompt yang jelas dan few shot prompting dapat meningkatkan hasil tanpa proyek pelatihan. Ia berguna untuk mengatur gaya, format, klasifikasi sederhana, atau contoh tugas yang spesifik.
Kesalahpahaman yang umum
Few shot prompting adalah bentuk in-context learning yang memakai beberapa contoh. Fine tuning berbeda karena benar benar memperbarui parameter model melalui proses pelatihan. In-context learning hanya memanfaatkan konteks pada permintaan saat ini.
Catatan penting sebelum menggunakannya
Contoh yang terlalu banyak menghabiskan context window dan dapat mengaburkan instruksi utama. Hasil juga dapat tidak konsisten jika contoh ambigu atau tidak mewakili kasus nyata. Untuk perilaku yang stabil pada skala besar, fine tuning atau sistem terstruktur mungkin lebih tepat.