Apa itu Tokenization?
Tokenization adalah tahap ketika teks diubah menjadi unit-unit token. Setiap model dapat memakai tokenizer yang berbeda, sehingga teks yang sama bisa menghasilkan jumlah token yang berbeda pada model yang berbeda.
Kalimat pengguna dipecah menjadi token sebelum dimasukkan ke LLM untuk diproses.