AI Agent Cepat, Infrastruktur Legacy Lambat: Cara Menutup Gap untuk Bisnis

AI agent makin menarik bagi bisnis karena dapat membaca konteks, mengambil keputusan, memanggil tool, dan menjalankan workflow dengan cepat. Namun dalam skala enterprise, masalahnya tidak berhenti pada kemampuan model.

Dalam laporan VentureBeat dari VB Transform 2026, pemimpin infrastruktur dari LinkedIn, Walmart, dan Zendesk membahas tantangan penerapan AI agent di perusahaan besar. Inti masalahnya jelas: agent bisa berpikir dalam milidetik, tetapi infrastruktur lama tidak selalu siap bergerak secepat itu.

Bagi bisnis Indonesia, terutama profesional, UMKM, startup, dan perusahaan yang masih bergantung pada spreadsheet, email, CRM lama, sistem akuntansi, atau aplikasi internal, pelajaran ini penting. AI agent tidak perlu selalu dimulai dengan mengganti seluruh sistem. Sering kali, langkah paling realistis adalah menambahkan layer otomasi di atas sistem yang sudah ada.

Masalah Utama: Bukan Hanya Model, tetapi Infrastruktur

Banyak diskusi AI terlalu fokus pada model: model mana yang paling pintar, paling cepat, atau paling murah. Padahal ketika AI agent masuk ke workflow bisnis, bottleneck sering muncul di sisi lain:

• Sistem lama tidak punya API yang rapi
• Data tersebar di banyak aplikasi
• Proses persetujuan masih manual
• Format data tidak konsisten
• Integrasi antar tim bergantung pada email atau chat
• Error handling belum terdokumentasi
• Tidak ada tracing untuk mengetahui agent gagal di langkah mana

AI agent bisa saja memahami permintaan pelanggan dengan cepat. Tetapi jika data pesanan ada di spreadsheet, status pembayaran ada di sistem akuntansi, riwayat pelanggan ada di CRM, dan konfirmasi masih dikirim manual lewat email, maka kecepatan model tidak otomatis menjadi kecepatan bisnis.

Pendekatan yang Lebih Masuk Akal: Gabungkan Agent dan Kode Deterministik

Salah satu pendekatan praktis adalah tidak menyerahkan semua pekerjaan kepada LLM. Workflow agent sebaiknya dikombinasikan dengan kode deterministik.

Kode deterministik cocok untuk pekerjaan yang harus konsisten, terukur, dan mudah diaudit, seperti:

• Validasi format data
• Routing tiket ke tim yang tepat
• Kalkulasi harga, pajak, diskon, atau biaya pengiriman
• Pembaruan status transaksi
• Sinkronisasi data terstruktur
• Pengecekan aturan bisnis

Sementara LLM lebih cocok untuk pekerjaan yang membutuhkan konteks, bahasa alami, atau reasoning, seperti:

• Klasifikasi pesan pelanggan
• Ekstraksi informasi dari email atau dokumen
• Merangkum percakapan
• Menentukan intent pengguna
• Membantu analisis kasus yang tidak sepenuhnya terstruktur
• Menyusun draft respons yang tetap perlu divalidasi

Dengan pembagian ini, bisnis tidak menaruh seluruh risiko pada model. Agent dapat menangani bagian yang fleksibel, sementara logika penting tetap dikendalikan oleh kode yang dapat diuji.

Contoh Workflow: Dari Manual ke Automation Layer

Misalnya sebuah bisnis menerima order dari email, lalu staf mengecek stok di spreadsheet, membuat invoice di sistem akuntansi, mengirim konfirmasi ke pelanggan, dan memberi tahu tim gudang lewat chat.

Alih-alih mengganti semua sistem sekaligus, bisnis dapat membuat automation layer yang menghubungkan:

• Email masuk
• Spreadsheet stok
• CRM pelanggan
• Sistem akuntansi
• Webhook dari payment gateway
• Notifikasi ke Slack, WhatsApp, Telegram, atau email internal

Dalam workflow ini, LLM dapat membaca email pelanggan dan mengekstrak informasi penting seperti nama, produk, jumlah, alamat, dan catatan khusus. Setelah itu, kode deterministik memvalidasi format, mengecek stok, menghitung total, membuat invoice, dan mengirim notifikasi.

Jika ada data yang tidak lengkap, agent tidak perlu menebak. Sistem dapat membuat status needs_review dan meminta intervensi manusia.

Metrik yang Perlu Dipetakan Sebelum Otomasi

Sebelum membangun AI agent, bisnis sebaiknya tidak langsung memilih tool. Mulailah dari pemetaan workflow manual lintas aplikasi.

Beberapa hal yang perlu diukur:

• Waktu proses dari awal sampai selesai
• Jumlah handoff antar orang atau tim
• Titik error yang paling sering terjadi
• Jumlah retry atau pengulangan kerja
• Biaya per transaksi
• Langkah yang paling sering menunggu approval
• Data yang sering tidak lengkap atau tidak konsisten
• Aplikasi yang paling sering menjadi bottleneck

Dari sini, bisnis bisa memilih proses mana yang layak diautomasi lebih dulu. Prioritaskan workflow yang volumenya tinggi, aturannya cukup jelas, dan dampaknya langsung terasa ke pelanggan atau operasional.

Tracing Wajib Ada sejak Awal

AI agent yang berjalan di bisnis tidak boleh menjadi kotak hitam. Setiap agent run perlu bisa dilacak.

Minimal, sistem perlu mencatat:

• Agent run ID
• Input yang diterima
• Tool call yang dilakukan
• API atau webhook yang dipanggil
• Output dari setiap langkah
• Error yang terjadi
• Retry yang dilakukan
• Waktu eksekusi
• Intervensi manusia
• Keputusan final

Tracing ini penting untuk debugging, audit, compliance, dan continuous improvement. Tanpa tracing, tim hanya tahu bahwa agent gagal, tetapi tidak tahu apakah penyebabnya ada di prompt, data, API, permission, sistem legacy, atau aturan bisnis.

Dampaknya untuk Profesional, UMKM, Startup, dan Bisnis Indonesia

Untuk profesional, AI agent dapat mengurangi pekerjaan repetitif seperti merangkum dokumen, memindahkan data antar aplikasi, membuat draft email, atau mengelompokkan tiket. Namun skill yang makin penting adalah kemampuan mendesain workflow, memahami data, dan menentukan batas antara keputusan manusia, LLM, dan kode.

Untuk UMKM, automation layer bisa menjadi jalan tengah yang realistis. Banyak UMKM belum siap mengganti sistem kasir, akuntansi, CRM, atau spreadsheet yang sudah berjalan. Dengan integrasi bertahap melalui API, webhook, email, dan spreadsheet, otomasi tetap bisa dimulai tanpa migrasi besar.

Untuk startup, pendekatan hybrid membantu menjaga kecepatan eksperimen tanpa mengorbankan reliability. LLM bisa dipakai untuk fitur berbasis bahasa dan konteks, sementara proses inti seperti billing, akses akun, validasi transaksi, dan perubahan data pelanggan tetap memakai kode deterministik.

Untuk perusahaan yang lebih besar, tantangannya biasanya ada pada governance, integrasi antar sistem, permission, dan observability. AI agent harus masuk ke arsitektur yang bisa diaudit, bukan sekadar chatbot yang diberi akses ke banyak tool.

Rekomendasi Praktis untuk Mulai

Berikut langkah yang bisa diterapkan bisnis tanpa harus membongkar semua sistem lama:

1. Petakan workflow manual lintas aplikasi, mulai dari input sampai output akhir.
2. Ukur waktu proses, handoff, error, retry, dan biaya per transaksi.
3. Pilih satu use case dengan volume tinggi dan risiko terkontrol.
4. Gunakan LLM hanya untuk klasifikasi, ekstraksi, rangkuman, atau reasoning yang membutuhkan konteks.
5. Gunakan kode deterministik untuk validasi, routing, kalkulasi, dan perubahan data terstruktur.
6. Hubungkan sistem lama melalui API, webhook, CRM, spreadsheet, email, notifikasi, dan sistem akuntansi.
7. Tambahkan tracing untuk agent run, tool call, error, retry, dan intervensi manusia.
8. Buat fallback ke manusia untuk kasus yang tidak lengkap, ambigu, atau berisiko tinggi.
9. Evaluasi hasil secara berkala sebelum memperluas otomasi ke proses lain.

Kesimpulan

AI agent bisa sangat cepat, tetapi bisnis hanya akan merasakan manfaatnya jika infrastruktur di sekitarnya siap. Hambatan terbesar sering bukan model yang kurang pintar, melainkan workflow lama, data yang tersebar, integrasi yang rapuh, dan proses manual yang tidak terukur.

Kabar baiknya, bisnis tidak harus langsung mengganti seluruh sistem legacy. Pendekatan yang lebih aman dan realistis adalah membangun automation layer, menggabungkan LLM dengan kode deterministik, serta menambahkan tracing sejak awal.

Dengan cara ini, AI agent tidak hanya menjadi demo yang menarik, tetapi benar-benar membantu operasional bisnis berjalan lebih cepat, konsisten, dan dapat diaudit.

Referensi

• “Agents think in milliseconds, legacy infrastructure doesnt. LinkedIn, Walmart and Zendesk shared how they closed the gap at VB Transform 2026”, VentureBeat, URL: tidak tersedia dalam briefing pengguna, dipublikasikan 17 Juli 2026.