Apa itu Token?
Model bahasa tidak membaca kalimat persis seperti manusia. Sebelum memprosesnya, teks dipecah menjadi token. Model menggunakan token untuk memahami masukan dan menghasilkan jawaban. Jumlah token memengaruhi batas panjang konteks, kecepatan, dan—pada layanan API—biaya penggunaan.
Kalimat “Tolong ringkas dokumen ini” akan dipecah menjadi beberapa token. Kata yang panjang dapat dipecah menjadi lebih dari satu token, sementara tanda baca dan spasi juga dapat ikut dihitung. Karena itu, unggahan dokumen panjang lebih tepat diperkirakan dengan token, bukan hanya jumlah halaman.
Cara kerja sederhana
Saat Anda mengirim prompt, sistem melakukan tokenization: memecah teks menjadi unit-unit kecil. Model memproses urutan token tersebut, lalu menghasilkan token berikutnya satu per satu hingga respons selesai. Cara pemecahan dapat berbeda antar model dan bahasa, sehingga satu kalimat tidak memiliki jumlah token yang sama di setiap layanan.
Kenapa Anda perlu memahaminya?
Token membantu menjelaskan mengapa dokumen yang sangat panjang dapat melewati batas, mengapa jawaban bisa terpotong, dan mengapa biaya API biasanya dihitung per token. Untuk pengguna umum, inti praktisnya adalah: ringkas konteks yang tidak diperlukan dan jangan mengira jumlah kata selalu sama dengan jumlah token.
Kesalahpahaman yang umum
Token bukan kata, karakter, atau byte secara tetap. Tokenisasi bergantung pada model dan encoding. Token juga berbeda dari Context Window: token adalah unit yang diproses, sedangkan context window adalah kapasitas token yang dapat dipertimbangkan model dalam satu respons.
Catatan penting sebelum menggunakannya
Aturan perkiraan token yang populer sering dibuat untuk bahasa Inggris dan tidak selalu akurat untuk bahasa Indonesia. Gunakan penghitung token dari penyedia model bila Anda perlu menghitung batas atau biaya secara presisi. Jumlah token yang kecil juga tidak menjamin jawaban lebih baik; konteks yang relevan tetap lebih penting.