Apa itu Context Window?
Anggap Context Window sebagai ruang kerja sementara model, bukan ingatan tanpa batas dan bukan seluruh data yang dipakai saat pelatihan. Ruang ini biasanya mencakup instruksi sistem, percakapan sebelumnya, prompt terbaru, dokumen atau gambar yang dimasukkan, hasil tool, serta jawaban yang sedang dibuat.
Jika Anda meminta AI menganalisis beberapa dokumen, instruksi, isi dokumen, dan jawaban yang dihasilkan sama-sama memakai ruang konteks. Bila totalnya melampaui batas model, sebagian konteks mungkin tidak dapat diproses atau hasilnya dapat berhenti sebelum selesai.
Cara kerja sederhana
Setiap pesan dan materi yang dimasukkan memakai token. Model hanya dapat mempertimbangkan informasi yang masih berada dalam kapasitas context window-nya. Ketika kapasitas mendekati batas, aplikasi dapat menolak masukan, memotong riwayat, atau merangkum bagian lama—perilakunya bergantung pada produk dan model.
Kenapa Anda perlu memahaminya?
Istilah ini berguna saat membandingkan model, mengunggah dokumen, atau menjalankan percakapan panjang. Context window yang lebih besar dapat menampung lebih banyak materi, tetapi bukan jaminan model memahami setiap detail dengan sama baiknya. Memilih konteks yang relevan sering lebih efektif daripada memasukkan semua informasi.
Kesalahpahaman yang umum
Context Window bukan knowledge cutoff. Knowledge cutoff berkaitan dengan batas pengetahuan dari pelatihan model, sedangkan context window adalah materi yang dapat dipakai model dalam permintaan saat ini. Context Window juga bukan memori permanen; aplikasi dapat menyimpan riwayat, tetapi model tetap bekerja dengan konteks yang dikirimkan pada saat itu.
Catatan penting sebelum menggunakannya
Context window besar tidak otomatis menghasilkan akurasi lebih tinggi. Seiring konteks bertambah, detail penting dapat lebih sulit ditemukan atau diingat oleh model. Materi yang tidak relevan juga dapat mengganggu hasil. Untuk tugas penting, susun dokumen, beri instruksi jelas, dan verifikasi keluaran.