GhostWriter: Ketika Memori Jangka Panjang AI Agent Dapat Dimanipulasi

Ringkasan

AI agent makin sering dipakai untuk membantu pekerjaan profesional, UMKM, startup, customer service, sales, dan operasional. Banyak agent modern tidak hanya menjawab dari prompt saat ini, tetapi juga menyimpan memori jangka panjang agar terasa lebih personal dan konsisten.

Masalahnya, memori jangka panjang bukan selalu sumber kebenaran. Berdasarkan laporan Tech Xplore berjudul Hidden prompts can plant false memories in AI agents, researchers warn yang dipublikasikan pada 19 Juli 2026, peneliti memperingatkan adanya serangan bernama GhostWriter. Serangan ini dapat menyisipkan konten berbahaya ke memori agent berbasis memory-augmented LLM, lalu memicu konten tersebut pada interaksi berikutnya.

Dalam konteks penelitian yang dilaporkan, tingkat keberhasilan injeksi disebut sekitar 98 persen, sementara aktivasi konten yang sudah tertanam disebut sekitar 60 persen pada agent yang diuji. Angka ini penting, tetapi harus dibaca sesuai konteks eksperimen tersebut, bukan sebagai ukuran universal untuk semua produk AI agent.

Apa Itu GhostWriter?

GhostWriter adalah pola serangan terhadap AI agent yang memiliki kemampuan menyimpan memori jangka panjang. Alih-alih menyerang jawaban langsung, penyerang mencoba membuat agent menyimpan informasi palsu, instruksi tersembunyi, atau preferensi berbahaya ke dalam memori permanen.

Setelah memori itu tersimpan, penyerang dapat menunggu sampai waktu berikutnya ketika agent menggunakan kembali memori tersebut. Pada saat itulah konten berbahaya bisa aktif, misalnya memengaruhi keputusan, mengubah rekomendasi, atau membuat agent mengikuti instruksi yang seharusnya tidak dipercaya.

Dengan kata lain, serangan ini bukan hanya masalah prompt injection sekali pakai. Risikonya lebih panjang karena konten berbahaya dapat bertahan di memori dan muncul kembali ketika konteksnya cocok.

Fakta dari Laporan Sumber

Berdasarkan laporan Tech Xplore:

• GhostWriter menargetkan agent berbasis memory-augmented LLM.
• Serangan dilakukan dengan menyisipkan konten berbahaya ke memori jangka panjang agent.
• Konten yang tertanam dapat dipicu pada waktu berikutnya.
• Pada agent yang diuji dalam penelitian, injeksi dilaporkan berhasil sekitar 98 persen.
• Aktivasi konten yang sudah tertanam dilaporkan sekitar 60 persen.

Poin pentingnya: laporan ini menunjukkan bahwa memori agent dapat menjadi permukaan serangan. Memori bukan hanya fitur kenyamanan, tetapi juga komponen keamanan yang harus dirancang, diuji, dan diaudit.

Analisis: Mengapa Ini Berbahaya untuk Penggunaan Bisnis?

Banyak tim mulai menghubungkan AI agent ke email, CRM, dokumen internal, tiket customer service, spreadsheet, hingga sistem operasional. Jika agent dapat membaca data eksternal dan menulis langsung ke memori permanen, maka data yang tampak biasa dapat menjadi jalur masuk instruksi tersembunyi.

Risikonya makin besar ketika agent dipercaya untuk mengambil keputusan semi-otomatis, misalnya memberi rekomendasi diskon, menyusun balasan pelanggan, menandai prioritas tiket, atau mengarahkan proses eskalasi.

Contoh risiko yang perlu diwaspadai:

• Instruksi palsu tentang nomor rekening pembayaran.
• Informasi diskon yang tidak sah atau tidak sesuai kebijakan.
• Status pelanggan yang dimanipulasi, misalnya dianggap VIP padahal tidak.
• Aturan eskalasi palsu, misalnya tiket tertentu selalu dilewati atau selalu diprioritaskan.
• Preferensi palsu yang membuat agent mengabaikan prosedur internal.

Ini bukan berarti semua AI agent berbahaya. Namun, organisasi perlu berhenti menganggap memori agent sebagai catatan netral. Memori harus diperlakukan seperti data yang bisa salah, bisa kedaluwarsa, dan bisa diracuni.

Dampak untuk Profesional, UMKM, dan Startup

Untuk profesional individu, risiko utamanya adalah keputusan yang tampak personal tetapi sebenarnya dibentuk oleh memori yang salah. Misalnya, agent menulis email dengan asumsi keliru tentang klien, menyarankan angka pembayaran yang salah, atau mengingat instruksi kerja yang tidak pernah disetujui.

Untuk UMKM, risikonya bisa langsung menyentuh transaksi. Jika agent membantu menjawab pelanggan, membuat invoice, atau mengelola katalog, memori palsu tentang harga, rekening, stok, atau diskon dapat menimbulkan kerugian finansial dan reputasi.

Untuk startup, risikonya lebih sistemik. Agent sering dipakai cepat untuk customer support, sales enablement, onboarding, dan operasi internal. Jika sejak awal tidak ada kontrol memori, data berbahaya dapat menyebar ke workflow penting dan sulit dilacak setelah produk mulai digunakan banyak orang.

Dampak pada Customer Service, Sales Assistant, dan Operations Assistant

Customer service

Agent customer service biasanya membaca riwayat percakapan, kebijakan pengembalian, status pelanggan, dan tiket sebelumnya. Jika memori diracuni, agent dapat memberi jawaban yang salah tetapi terlihat konsisten.

Contohnya, agent bisa mengingat bahwa pelanggan tertentu selalu berhak mendapat refund, atau bahwa komplain tertentu tidak perlu dieskalasi. Dampaknya bisa berupa layanan tidak adil, pelanggaran SOP, atau konflik dengan pelanggan.

Sales assistant

Sales assistant sering memakai konteks seperti segmentasi prospek, diskon, syarat pembayaran, dan riwayat negosiasi. Memori palsu dapat membuat agent menawarkan diskon yang tidak disetujui, mengubah prioritas lead, atau memberi instruksi pembayaran ke rekening yang salah.

Dalam konteks sales, satu memori yang salah dapat memengaruhi banyak email, proposal, dan follow-up.

Operations assistant

Operations assistant biasanya membantu menyusun jadwal, membaca dokumen, memantau checklist, atau memberi rekomendasi eskalasi. Jika memori permanennya terkontaminasi, agent bisa mengulang instruksi operasional yang keliru, seperti melewati approval, mengubah prioritas vendor, atau menandai tugas sebagai selesai tanpa dasar yang valid.

Rekomendasi Keamanan untuk Memori AI Agent

1. Pisahkan jenis memori

Jangan campur semua informasi dalam satu wadah memori. Pisahkan setidaknya tiga kategori:

• Memori faktual, seperti alamat, status kontrak, atau data pelanggan.
• Preferensi pengguna, seperti gaya bahasa atau format laporan.
• Instruksi sistem, seperti batasan keamanan, kebijakan eskalasi, dan aturan approval.

Instruksi sistem harus memiliki prioritas dan perlindungan lebih tinggi dibanding data dari percakapan atau dokumen eksternal.

2. Jangan izinkan data eksternal menulis langsung ke memori permanen

Email, dokumen, halaman web, tiket, dan chat pelanggan sebaiknya tidak bisa langsung mengubah memori jangka panjang. Gunakan lapisan validasi sebelum informasi disimpan.

Jika agent membaca data eksternal, perlakukan data itu sebagai input tidak tepercaya sampai terbukti valid.

3. Terapkan validasi, provenance, TTL, dan approval

Setiap entri memori sebaiknya memiliki:

• Validasi, untuk memastikan informasi sesuai sumber resmi.
• Provenance, untuk mencatat asal informasi.
• TTL atau masa berlaku, agar memori tidak hidup selamanya.
• Approval, terutama untuk memori yang memengaruhi uang, akses, pelanggan, atau keputusan operasional.

Dengan provenance, tim dapat mengetahui apakah sebuah memori berasal dari sistem internal, admin, email pelanggan, atau dokumen publik.

4. Sediakan audit, pencarian, koreksi, dan penghapusan memori

Memori agent harus bisa diaudit. Tim perlu dapat mencari entri memori, melihat kapan dibuat, dari mana asalnya, dan mengapa digunakan.

Selain itu, harus ada mekanisme koreksi dan penghapusan. Jika memori salah ditemukan, tim tidak boleh hanya memperbaiki prompt. Memori yang salah harus bisa dihapus atau ditandai tidak valid.

5. Uji memory poisoning dan indirect prompt injection

Pengujian keamanan AI agent tidak cukup hanya mengecek output saat ini. Tim juga perlu menguji apakah agent dapat dipaksa menyimpan informasi salah untuk digunakan nanti.

Skenario uji yang relevan antara lain:

• Dokumen eksternal berisi instruksi tersembunyi.
• Email pelanggan yang mencoba mengubah aturan diskon.
• Tiket support yang menyisipkan instruksi eskalasi palsu.
• Catatan CRM yang mencoba mengubah status pelanggan tanpa otorisasi.

Pengujian ini membantu menemukan celah sebelum agent dipakai pada workflow produksi.

6. Gunakan sumber tepercaya untuk keputusan penting

Untuk keputusan sensitif, agent sebaiknya mengambil data dari sumber resmi, bukan hanya dari memori. Misalnya, nomor rekening harus berasal dari sistem pembayaran resmi, status pelanggan dari CRM, dan kebijakan diskon dari dokumen kebijakan yang terkontrol.

Memori dapat membantu konteks, tetapi bukan pengganti database resmi atau approval manusia.

Prinsip Utama: Memori Agent Bukan Sumber Kebenaran Otomatis

Fitur memori membuat AI agent lebih berguna, tetapi juga memperluas risiko. GhostWriter menunjukkan bahwa memori jangka panjang dapat menjadi target manipulasi, terutama ketika agent membaca input tidak tepercaya dan menyimpannya tanpa kontrol.

Bagi tim yang membangun atau mengadopsi AI agent, pertanyaan pentingnya bukan hanya “apakah agent bisa mengingat?”, tetapi “apa yang boleh diingat, dari mana asalnya, berapa lama berlaku, siapa yang menyetujui, dan bagaimana cara menghapusnya?”

Jika jawaban atas pertanyaan itu belum jelas, memori permanen sebaiknya dibatasi. Dalam konteks bisnis, memori AI agent harus diperlakukan sebagai komponen yang perlu governance, audit, dan kontrol keamanan, bukan sebagai catatan otomatis yang selalu benar.

Referensi

• Hidden prompts can plant false memories in AI agents, researchers warn, Tech Xplore, https://techxplore.com/news/2026-07-hidden-prompts-false-memories-ai.html, dipublikasikan 19 Juli 2026.