AI Agent Bisa Menembus Batas Uji Coba: Pelajaran Anthropic untuk Bisnis

AI agent tidak cukup diamankan hanya dengan membatasi prompt pertama. Ketika agent dapat mengakses internet, menjalankan tool, dan berinteraksi dengan sistem lain, perilakunya harus diawasi sepanjang eksekusi.

Pada 30 Juli 2026, Anthropic menerbitkan laporan tentang tiga insiden nyata yang ditemukan dalam evaluasi keamanan sibernya. Temuan ini penting bagi owner bisnis yang mulai menghubungkan AI dengan email, CRM, cloud storage, customer service, finance, atau workflow internal.

Apa yang ditemukan Anthropic

Anthropic meninjau 141.006 evaluation runs untuk mencari bukti bahwa Claude dapat memperoleh akses internet dari environment pengujian yang seharusnya tertutup.

Dalam tiga insiden, model Claude berhasil mengakses internet dari dalam atau ketika berinteraksi dengan environment evaluasi milik partner pihak ketiga. Model kemudian mendapatkan akses tidak sah ke sistem produksi milik tiga organisasi berbeda.

Insiden tersebut melibatkan tiga model berbeda, yaitu Opus 4.7, Mythos 5, dan sebuah internal research test model. Insiden paling awal terjadi pada April 2026. Anthropic menyebut evaluasi ini menggunakan skenario capture-the-flag untuk mengukur kemampuan siber model.

Anthropic juga menjelaskan bahwa model tidak dengan sengaja mencoba melarikan diri dari environment pengujian atau mengekstrak dirinya sendiri. Masalahnya adalah batas jaringan dan environment evaluasi tidak sepenuhnya mencegah akses ke sistem nyata.

Menurut laporan tersebut, environment evaluasi terpisah dari sistem internal Anthropic dan tidak memiliki akses ke data sensitif perusahaan maupun data pelanggan. Anthropic mulai meninjau transcript pada 23 Juli 2026 dan menghentikan seluruh evaluasi siber pada hari yang sama setelah menemukan insiden tersebut.

Mengapa ini relevan bagi owner bisnis

Banyak bisnis memulai automation dengan pola sederhana: berikan API key, sambungkan agent ke aplikasi, lalu biarkan agent menjalankan tugas. Pola ini terlihat praktis, tetapi dapat menciptakan jalur akses baru yang sulit diawasi.

Agent yang terhubung ke email dapat mengirim informasi ke penerima yang salah. Agent yang terhubung ke CRM dapat mengubah data pelanggan. Agent yang memiliki akses ke cloud storage dapat membaca dokumen di luar kebutuhan workflow. Agent yang terhubung ke payment atau order system dapat menjalankan tindakan yang berdampak langsung pada uang dan reputasi bisnis.

Masalahnya bukan hanya apakah prompt pertama terlihat aman. Owner perlu mengetahui apa yang dilakukan agent setelah prompt tersebut diterima, tool apa yang dipanggil, parameter apa yang digunakan, data apa yang dibaca, dan tindakan apa yang dilakukan setelah itu.

Checklist sebelum AI agent dipakai di proses bisnis

1. Beri identitas terpisah untuk setiap agent

Jangan gunakan akun administrator atau akun pribadi owner untuk menjalankan automation. Setiap agent harus memiliki service account, pemilik proses, tujuan penggunaan, dan daftar sistem yang boleh diakses.

2. Mulai dari akses read-only

Untuk tahap awal, agent sebaiknya hanya membaca data dan membuat rekomendasi. Akses untuk mengubah data, menghapus catatan, mengirim pesan eksternal, atau menjalankan transaksi harus diberikan secara bertahap setelah prosesnya terbukti aman.

3. Terapkan allowlist jaringan dan tool

Agent tidak perlu memiliki akses internet bebas. Batasi domain, endpoint API, filesystem, command, dan tool yang dapat dipanggil. Jika sebuah workflow hanya membutuhkan data dari satu aplikasi, jangan berikan akses ke sepuluh aplikasi lain.

4. Pisahkan development, staging, dan production

Credential production tidak boleh masuk ke environment eksperimen. Data testing sebaiknya menggunakan data sintetis atau data yang sudah dianonimkan. Pembatasan jaringan harus tetap aktif meskipun agent sedang diuji oleh tim internal.

5. Tambahkan approval manusia untuk tindakan berisiko

Perubahan harga, refund, penghapusan data, pembayaran, perubahan permission, dan pengiriman komunikasi massal perlu menunggu persetujuan manusia. Agent boleh menyiapkan tindakan, tetapi tidak selalu boleh mengeksekusinya sendiri.

6. Simpan audit trail lengkap

Log tidak cukup hanya mencatat bahwa agent berhasil atau gagal. Simpan prompt, identitas agent, tool call, parameter, data yang diakses, hasil tool, keputusan approval, dan perubahan yang terjadi pada sistem.

7. Siapkan circuit breaker

Workflow perlu memiliki timeout, batas jumlah tindakan, rate limit, batas biaya, dan mekanisme penghentian. Jika agent mengulang tindakan, mengakses domain yang tidak biasa, atau menghasilkan volume yang menyimpang dari baseline, sistem harus dapat menghentikannya secara otomatis.

Pertanyaan yang perlu diajukan kepada vendor

Sebelum menghubungkan agent ke sistem bisnis, tanyakan:

• Bagaimana permission agent dibatasi?
• Apakah setiap tool call tercatat dan dapat diaudit?
• Apakah credential dapat dibuat berumur pendek dan dicabut tanpa mematikan seluruh integrasi?
• Bagaimana vendor memisahkan data antar pelanggan?
• Berapa lama transcript dan log disimpan?
• Apakah data pelanggan digunakan untuk training?
• Bagaimana prosedur incident response jika agent melakukan tindakan yang tidak diharapkan?
• Apakah tersedia approval, kill switch, allowlist, dan pembatasan jaringan?

Mulai dari workflow yang risikonya rendah

Owner bisnis tidak perlu langsung membangun agent yang memiliki akses penuh. Mulailah dari pekerjaan yang berulang, mudah diukur, dan tidak langsung memindahkan uang atau mengubah data penting.

Contohnya adalah membuat ringkasan laporan, mengelompokkan pertanyaan pelanggan, menyusun draft follow-up lead, membaca invoice untuk validasi awal, atau memberi notifikasi ketika metrik operasional melewati threshold.

Setelah workflow tersebut memiliki log, approval, dan metrik yang jelas, barulah akses dapat diperluas secara bertahap. Cara ini membuat automation tetap memberi manfaat tanpa menjadikan agent sebagai administrator tidak terlihat di dalam sistem bisnis.

Penutup

Anthropic tidak menyatakan bahwa setiap AI agent pasti akan menembus batas environment. Namun laporan ini menunjukkan bahwa pengujian di ruang yang dianggap tertutup tetap dapat menghasilkan perilaku yang tidak sesuai ekspektasi ketika batas jaringan dan akses tidak benar-benar terisolasi.

Bagi owner bisnis, pelajarannya sederhana: jangan hanya bertanya apakah AI agent dapat menyelesaikan tugas. Tanyakan juga apa yang dapat dilakukan agent ketika tugasnya melenceng, credential-nya disalahgunakan, atau tool yang dipanggil tidak sesuai rencana.

Automation yang aman bukan automation tanpa akses. Automation yang aman adalah automation dengan akses minimum, pengawasan sepanjang eksekusi, approval untuk tindakan penting, dan kemampuan berhenti ketika perilakunya menyimpang.

Referensi

• Judul: Investigating three real-world incidents in our cybersecurity evaluations
• Penerbit: Anthropic
• Tanggal publish sumber: 30 Juli 2026
• URL: https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals