AWS aws-bench: Benchmark Open Source untuk Mengukur AI Agent di AWS

Pada 24 Juli 2026, AWS mengumumkan aws-bench, sebuah research preview benchmark open source untuk mengukur kinerja AI agent di lingkungan AWS. Fokusnya bukan sekadar apakah agent bisa menjawab pertanyaan, tetapi apakah agent mampu menyelesaikan tugas AWS di dunia nyata dengan akurat dan efisien.

Bagi saya, ini menarik karena arah evaluasi AI agent mulai bergeser dari demo yang terlihat pintar menjadi pengukuran yang lebih operasional: apakah tugas selesai, berapa lama prosesnya, berapa biaya yang muncul, dan seberapa sering manusia harus turun tangan.

Apa itu aws-bench?

aws-bench adalah benchmark open source dari AWS untuk mengevaluasi AI agent yang bekerja pada tugas-tugas terkait AWS. Berdasarkan pengumuman resmi AWS, benchmark ini hadir sebagai research preview, sehingga posisinya lebih cocok dilihat sebagai fondasi awal untuk eksperimen, pembelajaran, dan evaluasi internal, bukan sebagai angka final untuk menentukan agent terbaik secara mutlak.

Dua hal yang perlu diperhatikan dari aws-bench:

Kualitas penyelesaian tugas
Apakah AI agent benar-benar menyelesaikan tugas dengan hasil yang sesuai ekspektasi.
Efisiensi eksekusi
Seberapa hemat agent dalam hal waktu, langkah kerja, intervensi manusia, dan potensi biaya cloud.

Ini penting karena AI agent yang terlihat canggih belum tentu layak dipakai di proses bisnis jika sering salah, terlalu lambat, atau membuat keputusan yang memicu biaya tanpa kontrol.

Kenapa benchmark AI agent penting?

Di banyak organisasi, AI agent mulai dipakai untuk membantu workflow automation, DevOps, cloud operations, analisis data, customer support internal, sampai business process optimization. Masalahnya, agent berbeda dengan chatbot biasa.

Chatbot biasanya menjawab. Agent bisa mengambil langkah, memanggil tool, membaca data, menjalankan workflow, bahkan melakukan perubahan pada sistem jika diberi izin.

Karena itu, evaluasinya tidak cukup dengan pertanyaan seperti:

Jawabannya terdengar benar atau tidak?
Prompt-nya terlihat bagus atau tidak?
Model-nya populer atau tidak?

Pertanyaan yang lebih penting adalah:

Apakah tugas selesai dengan benar?
Apakah hasilnya bisa diverifikasi?
Berapa lama waktu yang dibutuhkan?
Berapa biaya eksekusinya?
Berapa kali manusia harus memperbaiki atau menyetujui langkahnya?
Apakah agent aman saat berhadapan dengan data produksi?

Di sinilah benchmark seperti aws-bench menjadi relevan.

Dampak untuk profesional teknologi di Indonesia

Untuk software engineer, cloud engineer, data engineer, dan AI engineer di Indonesia, aws-bench bisa menjadi pengingat bahwa membangun AI agent bukan hanya soal memilih model paling baru. Kita perlu punya cara ukur yang jelas.

Dalam praktiknya, saya akan melihat evaluasi agent dari beberapa sisi:

Correctness, apakah output benar.
Reliability, apakah hasilnya konsisten saat tugas diulang.
Latency, apakah waktu eksekusi masih masuk akal.
Cost, apakah pemakaian token, API, dan resource cloud terkendali.
Human intervention, apakah agent terlalu sering minta bantuan.
Safety, apakah tindakan berisiko selalu melewati approval.

Pendekatan seperti ini membantu tim engineering mengambil keputusan yang lebih objektif saat membandingkan prompt, model, tool, atau arsitektur agent.

Dampak untuk UMKM, startup, dan bisnis Indonesia

Bagi UMKM dan startup, AI agent sering terlihat menjanjikan karena bisa mengotomasi pekerjaan repetitif. Misalnya membuat ringkasan order, membantu analisis laporan, menjawab pertanyaan internal, atau menghubungkan beberapa aplikasi bisnis.

Namun ada risiko yang sering diremehkan: automasi yang salah bisa menciptakan pekerjaan tambahan, bukan efisiensi.

Contohnya:

Agent salah membaca data pelanggan.
Agent menjalankan workflow yang belum lengkap.
Agent memakai resource cloud terlalu banyak.
Agent mengubah data tanpa persetujuan.
Agent menghasilkan rekomendasi yang tidak bisa diaudit.

Dengan pola evaluasi seperti yang didorong aws-bench, bisnis bisa lebih hati-hati sebelum menerapkan AI agent ke proses penting. Bukan berarti harus menunggu sempurna, tetapi mulai dari workflow kecil yang hasilnya jelas dan risikonya rendah.

Rekomendasi praktis: buat benchmark internal kecil

Kalau saya membantu tim yang baru mulai memakai AI agent, saya tidak akan langsung membuat evaluasi yang terlalu besar. Mulailah dengan 10 sampai 20 contoh tugas yang benar-benar mencerminkan pekerjaan harian.

Contoh kategori tugas yang bisa dipakai:

Membaca konfigurasi dan memberi ringkasan.
Membuat draft perubahan infrastruktur tanpa langsung menerapkan.
Menganalisis log atau laporan biaya.
Menemukan resource yang tidak terpakai.
Menyusun checklist deployment.
Membuat rekomendasi optimasi workflow.
Mengklasifikasikan tiket support internal.
Membuat laporan status dari beberapa sumber data.

Untuk setiap tugas, tentukan hasil yang bisa dinilai secara jelas:

Benar, jika seluruh kriteria terpenuhi.
Salah, jika ada output penting yang keliru, hilang, atau berisiko.
Parsial, jika sebagian benar tetapi masih butuh koreksi manusia.

Lalu ukur metrik berikut:

Success rate
Berapa persen tugas yang selesai dengan benar.
Waktu eksekusi
Berapa lama agent menyelesaikan satu tugas dari awal sampai akhir.
Intervensi manusia
Berapa kali manusia harus memberi klarifikasi, memperbaiki, atau mengambil alih.
Biaya
Hitung biaya model, token, API, tool eksternal, dan resource cloud yang dipakai.
Perbandingan prompt, model, dan tool
Jalankan tugas yang sama dengan beberapa variasi prompt, model, atau tool untuk melihat mana yang paling stabil dan hemat.
Kebutuhan approval
Semua tindakan yang mengubah data, mengubah konfigurasi, menghapus resource, mengirim pesan ke pihak luar, atau menimbulkan biaya harus melewati approval manusia.

Pendekatan ini sederhana, tetapi sangat membantu untuk memisahkan agent yang terlihat pintar dari agent yang benar-benar berguna.

Hubungan dengan business process optimization

AI agent paling bernilai saat dipakai untuk mengoptimalkan proses bisnis, bukan hanya menambah lapisan teknologi baru. Karena itu, evaluasi agent perlu dihubungkan dengan tujuan bisnis yang konkret.

Misalnya:

Mengurangi waktu proses manual.
Mengurangi error operasional.
Mempercepat respons tim.
Menurunkan biaya cloud.
Membuat proses lebih mudah diaudit.
Menjaga kualitas output tetap konsisten.

Jika agent mempercepat workflow tetapi meningkatkan biaya secara tidak terkendali, hasilnya belum tentu positif. Jika agent mengurangi pekerjaan manual tetapi sering butuh koreksi, manfaatnya juga perlu dihitung ulang.

Dengan benchmark internal, tim bisa melihat trade-off ini lebih jelas.

Kontrol biaya harus jadi bagian dari evaluasi

Dalam konteks AWS dan cloud secara umum, efisiensi tidak bisa dilepaskan dari biaya. Agent yang diberi akses ke tool cloud bisa memicu pemakaian resource, menjalankan query, membuat layanan baru, atau melakukan operasi yang punya konsekuensi biaya.

Karena itu, saya menyarankan beberapa kontrol dasar:

Gunakan environment sandbox untuk eksperimen.
Batasi permission agent sesuai kebutuhan tugas.
Pakai budget alert dan limit operasional.
Log semua tindakan agent.
Wajibkan approval untuk tindakan yang mengubah data atau menimbulkan biaya.
Evaluasi biaya per tugas, bukan hanya biaya total bulanan.

Kontrol seperti ini membuat AI automation lebih aman untuk dicoba oleh tim kecil, startup, maupun perusahaan yang lebih besar.

Kesimpulan

aws-bench dari AWS menunjukkan bahwa evaluasi AI agent perlu bergerak ke arah yang lebih praktis: mengukur akurasi penyelesaian tugas dan efisiensi eksekusi di skenario yang mendekati dunia nyata.

Untuk profesional dan bisnis di Indonesia, pelajarannya jelas. Jangan hanya menilai AI agent dari demo, respons yang terdengar meyakinkan, atau popularitas model. Buat benchmark kecil, ukur success rate, waktu, intervensi manusia, biaya, dan risiko operasional.

AI agent yang baik bukan hanya yang bisa menjawab, tetapi yang bisa membantu workflow berjalan lebih cepat, lebih aman, lebih hemat, dan lebih mudah dikontrol.

Referensi

AWS announces aws-bench, an open-source benchmark for AI agents on AWS, AWS, https://aws.amazon.com/about-aws/whats-new/2026/07/aws-bench/, tanggal publish 24 Juli 2026.