Apa itu Inference?
Inference adalah proses menjalankan model setelah training. Saat pengguna mengirim prompt ke chatbot, model melakukan inference untuk menghasilkan respons. Kecepatan, biaya, hardware, dan panjang konteks dapat memengaruhi proses inference.
Saat AI menerjemahkan satu paragraf yang Anda kirim, model sedang melakukan inference.