Apa itu Token?
Token adalah potongan data yang diproses model. Dalam teks, satu token bisa berupa kata, bagian kata, tanda baca, atau karakter tertentu tergantung tokenizer. Batas input dan output model biasanya dihitung dalam token, bukan jumlah kata.
Kata panjang dapat terpecah menjadi beberapa token, sehingga 1.000 kata tidak selalu sama dengan 1.000 token.