Apa itu Prompt Injection?
Risiko ini muncul ketika AI membaca konten dari pihak ketiga, seperti halaman web, email, dokumen, atau hasil tool. Konten tersebut dapat berisi instruksi yang mencoba mengalihkan prioritas agent. Risiko meningkat ketika AI memiliki akses ke data, akun, atau kemampuan melakukan tindakan.
Agent diminta merangkum halaman web. Di dalam halaman ada teks tersembunyi yang menyuruh agent mengabaikan tugas awal dan mengirim isi dokumen pribadi. Instruksi dari halaman itu tidak boleh diperlakukan sebagai perintah pengguna.
Cara kerja sederhana
Sistem AI menerima instruksi pengguna dan data dari sumber lain. Penyerang mencoba membuat data tidak tepercaya tampak seperti instruksi yang harus diikuti. Pertahanan memisahkan tingkat kepercayaan instruksi, membatasi akses tool, dan meminta konfirmasi aksi penting.
Kenapa Anda perlu memahaminya?
Istilah ini mengingatkan bahwa memberi AI akses web, file, atau aplikasi bukan hanya soal kemampuan. Pengguna perlu memberi izin minimum dan tidak menyerahkan tugas sensitif tanpa pengawasan.
Kesalahpahaman yang umum
Prompt injection berbeda dari jailbreak. Jailbreak biasanya berasal dari input pengguna untuk mengubah batas perilaku model, sedangkan prompt injection sering datang dari data pihak ketiga yang sedang diproses AI.
Catatan penting sebelum menggunakannya
Tidak ada satu filter yang menghentikan semua prompt injection. Risiko dikurangi dengan desain berlapis: hak akses minimum, sandbox, konfirmasi manusia, guardrails, dan evaluasi berkala.