Zero Risk Bukan Target: Governance Berbasis Skenario untuk Mengelola Risiko AI Agent

Mengapa zero risk bukan target yang realistis

AI agent mulai dipakai untuk membantu pekerjaan yang sebelumnya dilakukan manusia: membaca email, membuat ringkasan, mengisi CRM, menjawab pelanggan, membuat rekomendasi, bahkan menjalankan aksi lewat integrasi dengan aplikasi lain.

Masalahnya, semakin banyak kemampuan yang diberikan kepada agent, semakin besar pula risiko yang perlu dikelola. Karena itu, mengejar zero risk bukan pendekatan yang realistis. Target yang lebih masuk akal adalah memahami skenario risiko, membatasi dampak kegagalan, dan memastikan ada kontrol yang sesuai dengan tingkat risiko tersebut.

Artikel ini merangkum pendekatan governance yang terinspirasi dari panduan Anthropic berjudul Zero risk isn't the job: a CISO's guide to agentic AI, dipublikasikan 17 Juli 2026. Penting dicatat, ini adalah panduan governance dari Anthropic, bukan regulasi baru Indonesia.

Cara berpikir: nilai risiko berdasarkan skenario

Risiko AI agent tidak bisa dinilai hanya dari model AI yang dipakai. Dua agent dengan model yang sama bisa punya profil risiko yang sangat berbeda.

Yang perlu dinilai adalah konteks penggunaannya:

• Agent punya akses ke data apa?
• Agent bisa memakai tool apa?
• Agent hanya membaca, memberi rekomendasi, atau bisa mengeksekusi tindakan?
• Apa dampaknya jika agent salah mengambil keputusan?
• Apakah ada manusia yang meninjau sebelum aksi penting dijalankan?
• Apakah tindakan agent bisa diaudit dan dibatalkan?

Contoh sederhana: agent yang merangkum dokumen internal memiliki risiko berbeda dengan agent yang bisa mengirim email massal ke pelanggan atau memproses pembayaran.

Relevansi untuk profesional, UMKM, startup, dan bisnis Indonesia

Bagi profesional, AI agent bisa mempercepat riset, dokumentasi, analisis data, dan komunikasi. Namun, risiko muncul saat agent diberi akses ke dokumen sensitif, email kerja, atau sistem internal.

Bagi UMKM, agent bisa membantu layanan pelanggan, pencatatan pesanan, pembuatan konten, dan follow-up penjualan. Risiko utamanya sering muncul dari akses berlebihan, pengiriman pesan yang keliru, atau penggunaan data pelanggan tanpa kontrol yang jelas.

Bagi startup, agent sering diintegrasikan lebih dalam ke produk dan workflow operasional. Risiko menjadi lebih besar jika agent dapat mengubah data produksi, memanggil API internal, membuat transaksi, atau memicu proses otomatis.

Bagi bisnis di Indonesia, aspek perlindungan data personal juga penting. Jika agent memproses nama, nomor telepon, alamat, data transaksi, data kesehatan, data finansial, atau identitas lain, organisasi perlu memperhatikan prinsip perlindungan data personal sesuai kewajiban yang berlaku, termasuk pembatasan akses, tujuan pemrosesan yang jelas, keamanan data, dan kemampuan menelusuri pemrosesan data.

Inventaris agent: langkah pertama governance

Sebelum membuat aturan, organisasi perlu tahu dulu agent apa saja yang digunakan.

Buat inventaris sederhana berisi:

Komponen	Pertanyaan
Nama agent	Agent ini digunakan untuk apa?
Pemilik	Siapa owner bisnis dan teknisnya?
Pengguna	Siapa yang boleh memakai agent ini?
Data access	Data apa yang bisa dibaca?
Tool access	Aplikasi, API, atau sistem apa yang bisa dipanggil?
Action level	Agent hanya read, recommend, atau execute?
Dampak gagal	Apa yang terjadi jika agent salah?
Kontrol	Apakah ada approval, logging, rollback, atau pembatasan?

Inventaris ini tidak harus rumit. Untuk UMKM, spreadsheet sudah cukup. Untuk startup yang lebih matang, inventaris bisa masuk ke sistem GRC, ticketing, atau dokumentasi engineering.

Pisahkan kemampuan: read, recommend, execute

Salah satu prinsip penting dalam governance AI agent adalah memisahkan tingkat kemampuan agent.

1. Read

Agent hanya bisa membaca atau mengambil informasi. Contohnya:

• Merangkum dokumen kebijakan internal
• Mencari informasi di knowledge base
• Membaca status tiket pelanggan

Risikonya relatif lebih rendah, tetapi tetap perlu kontrol jika data yang dibaca bersifat sensitif.

2. Recommend

Agent memberi saran, tetapi tidak menjalankan aksi langsung. Contohnya:

• Menyarankan balasan email
• Menyarankan segmentasi pelanggan
• Menyarankan tindakan untuk tiket support

Di tahap ini, human review sangat penting, terutama untuk keputusan yang berdampak ke pelanggan, keuangan, atau reputasi.

3. Execute

Agent bisa menjalankan aksi. Contohnya:

• Mengubah data pelanggan
• Menghapus record
• Mengirim pesan massal
• Membuat refund
• Memproses pembayaran
• Menjalankan workflow operasional

Kategori ini harus mendapat kontrol paling ketat karena kesalahan agent bisa langsung berdampak pada bisnis.

Matriks risiko AI agent

Gunakan matriks sederhana untuk mengelompokkan risiko berdasarkan akses dan dampak.

Level risiko	Contoh skenario	Kontrol minimum
Rendah	Agent merangkum dokumen publik	Logging dasar, pembatasan sumber data
Sedang	Agent membaca dokumen internal atau tiket pelanggan	Role-based access, audit trail, review berkala
Tinggi	Agent memberi rekomendasi keputusan pelanggan atau operasional	Human-in-the-loop, validasi output, testing berkala
Kritis	Agent bisa mengubah data, menghapus data, mengirim pesan massal, atau memproses pembayaran	Approval wajib, least privilege ketat, audit trail lengkap, red-team test, rollback plan

Matriks ini sebaiknya disesuaikan dengan konteks bisnis. Jangan menyalin mentah-mentah dari perusahaan lain karena profil risiko setiap organisasi berbeda.

Kontrol utama yang perlu diterapkan

1. Least privilege

Berikan akses minimum yang diperlukan agent untuk menjalankan tugasnya. Jangan memberi akses admin hanya karena lebih mudah saat integrasi.

Contoh:

• Agent support cukup membaca tiket yang relevan, bukan seluruh database pelanggan.
• Agent finance tidak otomatis boleh memproses pembayaran tanpa approval.
• Agent marketing tidak perlu akses ke data sensitif yang tidak digunakan untuk kampanye.

2. Human-in-the-loop

Untuk aksi berisiko tinggi, manusia harus meninjau sebelum agent mengeksekusi tindakan.

Gunakan approval untuk:

• Pengiriman email atau WhatsApp massal
• Perubahan data pelanggan dalam jumlah besar
• Penghapusan data
• Refund, pembayaran, atau perubahan invoice
• Jawaban atas komplain sensitif

Human-in-the-loop bukan berarti semua proses harus manual. Prinsipnya adalah menempatkan review manusia pada titik yang dampaknya besar.

3. Audit trail

Setiap tindakan agent harus bisa ditelusuri.

Audit trail sebaiknya mencatat:

• Siapa yang memicu agent
• Kapan agent berjalan
• Data atau tool apa yang diakses
• Output atau rekomendasi yang diberikan
• Aksi apa yang dijalankan
• Siapa yang menyetujui aksi, jika ada
• Apakah aksi berhasil, gagal, atau dibatalkan

Tanpa audit trail, organisasi akan kesulitan mencari penyebab masalah saat terjadi insiden.

4. Red-team test

Lakukan pengujian untuk melihat bagaimana agent merespons kondisi buruk atau input berbahaya.

Skenario yang perlu diuji:

• Prompt injection yang mencoba memaksa agent mengabaikan instruksi
• Permintaan untuk membuka data yang tidak semestinya
• Instruksi untuk menghapus atau mengubah data
• Percobaan menjalankan pembayaran tanpa otorisasi
• Permintaan mengirim pesan massal dengan konten berisiko
• Input pelanggan yang sengaja dibuat menyesatkan

Red-team test tidak harus selalu kompleks. Untuk tahap awal, tim internal bisa membuat daftar skenario penyalahgunaan dan menguji respons agent secara berkala.

5. Pembatasan tool access

Risiko agent meningkat saat agent diberi akses ke tool eksternal atau sistem internal. Karena itu, setiap tool perlu diklasifikasikan.

Contoh klasifikasi:

• Tool baca: search, knowledge base, dashboard read-only
• Tool rekomendasi: draft email, draft ticket response, draft report
• Tool aksi: update database, delete record, send message, create payment, trigger deployment

Tool aksi harus memiliki kontrol tambahan, seperti approval, limit transaksi, rate limit, dan rollback.

Risiko yang sering diremehkan

Prompt injection

Prompt injection terjadi saat input dari pengguna, dokumen, website, atau sumber lain berisi instruksi yang mencoba memanipulasi perilaku agent.

Contoh risiko:

• Agent diminta mengabaikan instruksi sistem
• Agent diarahkan membocorkan data internal
• Agent dipancing menjalankan tool yang tidak relevan

Mitigasinya meliputi validasi input, pemisahan instruksi sistem dan data eksternal, pembatasan tool, serta logging.

Akses berlebihan

Banyak insiden tidak terjadi karena model terlalu pintar, tetapi karena agent diberi akses terlalu luas. Jika agent hanya butuh membaca 10 field, jangan beri akses ke seluruh tabel.

Perubahan atau penghapusan data

Agent yang bisa mengubah atau menghapus data harus diperlakukan sebagai sistem berisiko tinggi. Terapkan approval, backup, versioning, dan mekanisme rollback.

Pembayaran dan transaksi

Agent yang bisa memicu pembayaran, refund, diskon besar, atau perubahan invoice membutuhkan kontrol ketat. Gunakan limit nominal, approval berlapis, dan audit trail lengkap.

Pengiriman pesan massal

Kesalahan pada pesan massal bisa berdampak pada reputasi, privasi, dan kepatuhan. Agent marketing atau customer engagement sebaiknya tidak boleh mengirim massal tanpa review manusia.

Checklist praktis governance AI agent

Gunakan checklist berikut sebelum agent dipakai di lingkungan kerja atau produksi:

• Agent sudah masuk inventaris
• Ada owner bisnis dan owner teknis
• Tujuan penggunaan agent jelas
• Data yang diakses sudah dibatasi
• Tool yang dapat dipakai sudah didokumentasikan
• Level kemampuan agent ditentukan: read, recommend, atau execute
• Risiko sudah dinilai berdasarkan skenario
• Akses mengikuti prinsip least privilege
• Aksi berisiko tinggi membutuhkan approval manusia
• Ada audit trail untuk input, output, tool call, dan aksi
• Ada mekanisme rollback untuk perubahan penting
• Prompt injection sudah diuji
• Pengiriman pesan massal dibatasi dan perlu review
• Pembayaran atau transaksi memiliki limit dan approval
• Data personal diproses sesuai tujuan dan dibatasi aksesnya
• Review risiko dilakukan berkala, bukan hanya saat awal implementasi

Contoh penerapan bertahap untuk bisnis

Tahap 1: Mulai dari use case rendah risiko

Contoh:

• Ringkasan dokumen internal non-sensitif
• Draft artikel atau materi promosi
• Pencarian informasi di knowledge base

Kontrol minimum:

• Batasi sumber data
• Simpan log penggunaan
• Larang agent menjalankan aksi langsung

Tahap 2: Masuk ke rekomendasi dengan review manusia

Contoh:

• Draft balasan customer support
• Rekomendasi segmentasi pelanggan
• Rekomendasi prioritas tiket

Kontrol minimum:

• Wajib review manusia sebelum dikirim
• Batasi data pelanggan yang ditampilkan
• Audit perubahan dan keputusan

Tahap 3: Eksekusi terbatas

Contoh:

• Update status tiket
• Membuat draft invoice, tetapi belum mengirim
• Menjadwalkan follow-up pelanggan

Kontrol minimum:

• Role-based access
• Limit aksi per hari
• Approval untuk perubahan penting
• Logging tool call

Tahap 4: Eksekusi berisiko tinggi dengan governance ketat

Contoh:

• Refund
• Pembayaran
• Pengiriman pesan massal
• Perubahan data pelanggan dalam jumlah besar

Kontrol minimum:

• Approval wajib
• Limit nominal atau volume
• Red-team test berkala
• Rollback plan
• Audit trail lengkap
• Review kepatuhan data personal

Kesimpulan

Governance AI agent bukan tentang membuat risiko menjadi nol. Pendekatan yang lebih praktis adalah memahami skenario penggunaan, membatasi akses, memisahkan kemampuan read, recommend, dan execute, serta menempatkan kontrol sesuai dampak kegagalan.

Untuk profesional, UMKM, startup, dan bisnis Indonesia, pendekatan ini membantu memanfaatkan AI agent tanpa mengabaikan keamanan, privasi, dan kepercayaan pelanggan. Mulailah dari inventaris sederhana, gunakan matriks risiko, terapkan least privilege, dan pastikan aksi penting tetap memiliki jejak audit serta review manusia.

Referensi

• Anthropic, Zero risk isn’t the job: a CISO’s guide to agentic AI, dipublikasikan 17 Juli 2026: https://www.anthropic.com/news/zero-risk-isnt-the-job-a-cisos-guide-to-agentic-ai