AI Coding Tidak Cukup Cepat: Observability dan Kontrol Model Jadi Wajib

AI coding agent sedang bergerak dari sekadar fitur chat di IDE menjadi bagian dari sistem software engineering. Ketika agent mulai membaca konteks, mengusulkan perubahan, menjalankan workflow, dan memengaruhi pull request, pertanyaan utamanya bukan lagi “seberapa cepat AI menulis kode?”, tetapi “apakah prosesnya bisa diobservasi, dikontrol, dan dipertanggungjawabkan?”

GitHub Changelog pada 27 Juli 2026 memberi sinyal penting ke arah ini. Untuk GitHub Copilot di JetBrains, GitHub menyebut beberapa pembaruan yang relevan bagi tim engineering: pengaturan OpenTelemetry export settings untuk agent workflows melalui Settings > Tools > GitHub Copilot > Chat, pengaturan default token limits maxInputToken dan maxOutputToken untuk BYOK dan custom endpoints, serta kontrol model management untuk mengaktifkan atau menonaktifkan seluruh built-in Copilot models.

Bagi saya, ini bukan sekadar pembaruan fitur IDE. Ini adalah tanda bahwa AI coding perlu masuk ke disiplin operasional yang sama dengan aplikasi produksi: observable, governed, measured, dan auditable.

Fakta dari GitHub Changelog

Berdasarkan sumber GitHub Changelog berjudul “GitHub Copilot for JetBrains adds improved OpenTelemetry configuration and model management”, pembaruan yang dapat dicatat adalah:

1. Pengguna dapat mengatur OpenTelemetry export settings untuk agent workflows melalui Settings > Tools > GitHub Copilot > Chat.
2. Tersedia pengaturan default token limits, yaitu maxInputToken dan maxOutputToken, untuk skenario BYOK dan custom endpoints.
3. Tersedia kontrol model management untuk mengaktifkan atau menonaktifkan seluruh built-in Copilot models.

Tiga poin ini terlihat sederhana, tetapi implikasinya besar untuk organisasi yang ingin memakai AI coding secara serius.

AI coding agent adalah bagian dari sistem engineering

Selama ini banyak tim memperlakukan AI coding sebagai alat bantu individual. Developer membuka IDE, bertanya ke AI, menerima saran, lalu melanjutkan pekerjaan. Untuk eksperimen personal, pendekatan ini cukup.

Namun di perusahaan, AI coding agent memengaruhi proses yang lebih luas:

• kualitas kode,
• keamanan perubahan,
• durasi pull request,
• beban reviewer,
• biaya token,
• kepatuhan data,
• risiko bocornya konteks sensitif,
• konsistensi arsitektur,
• dan keandalan release.

Karena itu, AI coding tidak bisa hanya diukur dari jumlah baris kode yang dihasilkan. Kita perlu melihat dampaknya terhadap sistem delivery secara end-to-end.

Di area Business Process Optimization melalui Software Engineering, Automation, dan AI, saya melihat pola yang sama: otomatisasi yang tidak bisa diukur biasanya sulit dikendalikan. AI coding agent pun sama. Jika workflow agent tidak memiliki telemetry, tim akan kesulitan menjawab pertanyaan dasar seperti: task mana yang cocok untuk AI, model mana yang paling efektif, berapa biaya per task, dan apakah AI benar-benar mempercepat delivery tanpa menaikkan defect rate.

Mengapa OpenTelemetry penting untuk AI coding workflow

OpenTelemetry berguna karena ia menyediakan cara standar untuk mengirim telemetry ke observability stack yang sudah digunakan perusahaan. Artinya, workflow AI agent tidak perlu menjadi kotak hitam yang terpisah dari sistem monitoring yang ada.

Dengan telemetry yang dirancang benar, tim bisa menghubungkan aktivitas agent dengan metrik engineering seperti:

• metrics: jumlah task AI, jumlah request, token usage, error count, dan cost per task,
• traces: alur agent dari prompt, pemilihan konteks, eksekusi tool, sampai hasil akhir,
• logs: event operasional yang aman untuk audit tanpa merekam source code atau secret,
• latency: waktu respons model, waktu eksekusi agent, dan bottleneck workflow,
• pull request cycle time: waktu dari perubahan dibuat sampai merge,
• review effort: jumlah komentar review, iterasi revisi, dan effort reviewer,
• defect rate: bug yang lolos setelah perubahan berbantuan AI,
• rollback: perubahan berbantuan AI yang perlu dibatalkan,
• privacy signal: indikasi apakah workflow berisiko membawa konteks yang tidak seharusnya keluar.

Poin pentingnya: observability bukan berarti merekam semua hal. Justru implementasi yang matang harus membatasi data yang dikirim. Untuk AI coding, telemetry sebaiknya tidak merekam source code, secret, credential, data pelanggan, atau informasi sensitif lain. Yang dibutuhkan adalah sinyal operasional, bukan salinan isi repository.

Kontrol model bukan sekadar pilihan preferensi

Model management juga semakin penting. Dalam konteks perusahaan, memilih model bukan hanya soal “mana yang paling pintar”. Ada dimensi lain yang harus dipertimbangkan:

• policy perusahaan: model mana yang boleh dipakai untuk jenis pekerjaan tertentu,
• kualitas: model mana yang konsisten untuk refactoring, test generation, atau penjelasan kode,
• biaya: model dengan kemampuan lebih tinggi biasanya perlu dikaitkan dengan token budget,
• keamanan: model dan endpoint harus sesuai dengan kebijakan data,
• data residency: lokasi pemrosesan data dapat menjadi isu kepatuhan,
• BYOK: penggunaan bring your own key perlu kontrol limit dan audit,
• custom endpoint: endpoint internal atau vendor tertentu harus masuk governance,
• vendor governance: organisasi perlu tahu model dan penyedia mana yang aktif.

Karena itu, kemampuan untuk mengaktifkan atau menonaktifkan built-in Copilot models bukan hanya fitur admin. Ini adalah bagian dari tata kelola AI engineering.

Token limit adalah guardrail biaya dan perilaku

Pengaturan default token limits seperti maxInputToken dan maxOutputToken untuk BYOK dan custom endpoints juga penting. Token bukan hanya metrik teknis, tetapi juga representasi biaya, risiko konteks, dan batas perilaku agent.

Tanpa token budget, agent bisa membawa konteks terlalu besar, menghasilkan output terlalu panjang, atau membuat biaya sulit diprediksi. Dengan token budget, tim bisa mulai membuat kebijakan seperti:

• task kecil memakai batas input dan output lebih rendah,
• refactoring besar memerlukan approval sebelum menaikkan budget,
• model tertentu hanya boleh digunakan untuk task berisiko tinggi,
• eksperimen BYOK dipantau terpisah dari endpoint standar,
• penggunaan token dikaitkan dengan cost per task.

Batas token tidak menyelesaikan semua masalah, tetapi ia menjadi guardrail awal yang praktis.

Framework implementasi bertahap

Jika tim ingin menerapkan AI coding agent secara lebih matang, saya menyarankan pendekatan bertahap berikut.

1. Inventarisasi workflow

Petakan dulu di mana AI digunakan:

• generate unit test,
• refactoring,
• penjelasan kode legacy,
• membuat dokumentasi,
• menulis boilerplate,
• memperbaiki bug,
• membuat query,
• membantu review pull request.

Jangan langsung menggeneralisasi bahwa semua task cocok untuk AI. Setiap workflow punya risiko dan metrik berbeda.

2. Buat baseline sebelum AI coding

Sebelum mengukur dampak AI, ukur kondisi awal:

• pull request cycle time,
• defect rate,
• rollback,
• review effort,
• waktu penyelesaian task,
• frekuensi revisi setelah review,
• waktu tunggu reviewer.

Baseline ini penting agar tim tidak terjebak pada persepsi subjektif bahwa AI “terasa lebih cepat”.

3. Klasifikasikan task

Bagi task ke beberapa kategori, misalnya:

• risiko rendah: dokumentasi, boilerplate, test sederhana,
• risiko sedang: refactoring terbatas, query internal, perubahan UI kecil,
• risiko tinggi: autentikasi, pembayaran, permission, data pribadi, migrasi database.

Semakin tinggi risikonya, semakin ketat model policy, approval, test, dan review.

4. Konfigurasi model allowlist

Gunakan model management untuk menentukan model mana yang boleh aktif. Untuk organisasi besar, allowlist lebih aman daripada membiarkan semua model tersedia tanpa batas.

Contoh kebijakan sederhana:

• model standar untuk task harian,
• model tertentu untuk analisis kompleks,
• model eksperimental hanya untuk sandbox,
• model yang belum memenuhi policy dimatikan.

5. Terapkan token budget

Gunakan maxInputToken dan maxOutputToken sebagai guardrail awal untuk BYOK dan custom endpoints. Token budget perlu disesuaikan dengan tipe task, bukan dibuat seragam untuk semua workflow.

6. Aktifkan OpenTelemetry dengan prinsip privacy by design

Telemetry harus berguna, tetapi tidak invasif. Hindari merekam source code, secret, credential, data pelanggan, atau prompt yang berisi informasi sensitif. Fokus pada metadata operasional seperti jenis task, durasi, status, token usage, model selection, dan error.

7. Bangun dashboard engineering

Dashboard sebaiknya menjawab pertanyaan praktis:

• workflow AI mana yang paling sering dipakai,
• task mana yang paling mahal,
• model mana yang latency-nya tinggi,
• apakah PR berbantuan AI lebih cepat selesai,
• apakah review effort turun atau naik,
• apakah defect rate berubah,
• apakah ada rollback yang terkait perubahan berbantuan AI.

8. Perkuat code review dan automated test

AI tidak menggantikan engineering discipline. Semua perubahan tetap harus melewati code review, automated test, static analysis, dan security check sesuai tingkat risiko.

Untuk task berisiko tinggi, approval manusia tetap wajib.

9. Evaluasi berkala

Setiap periode, evaluasi:

• apakah model allowlist masih relevan,
• apakah token budget perlu disesuaikan,
• apakah cost per task masuk akal,
• apakah ada workflow yang harus dibatasi,
• apakah ada pola defect baru,
• apakah telemetry cukup untuk audit.

AI coding governance bukan konfigurasi sekali jalan. Ia harus berkembang mengikuti tim, codebase, dan vendor.

Contoh untuk tim kecil

Untuk tim kecil, implementasi bisa dibuat ringan:

1. Mulai dari 2 sampai 3 workflow aman, misalnya dokumentasi, unit test sederhana, dan boilerplate.
2. Tetapkan model default yang boleh dipakai.
3. Gunakan token limit konservatif.
4. Aktifkan telemetry minimal untuk usage, latency, token usage, dan status task.
5. Review semua pull request seperti biasa.
6. Catat apakah AI membantu mengurangi waktu pengerjaan tanpa menambah komentar review atau bug.

Tujuannya bukan membuat governance berat, tetapi membangun kebiasaan mengukur.

Contoh untuk perusahaan dengan banyak developer

Untuk perusahaan besar, pendekatannya perlu lebih formal:

1. Buat policy model per kategori task dan per tingkat risiko.
2. Gunakan model allowlist, bukan akses bebas.
3. Pisahkan BYOK dan custom endpoint dalam observability dan cost tracking.
4. Kirim telemetry agent workflow ke observability stack yang sudah ada.
5. Buat dashboard untuk engineering manager, platform team, security, dan finance.
6. Terapkan approval untuk perubahan berisiko tinggi.
7. Hubungkan metrik AI coding dengan pull request cycle time, review effort, defect rate, dan rollback.
8. Audit privacy secara berkala untuk memastikan telemetry tidak membawa source code atau secret.

Di skala ini, AI coding agent perlu diperlakukan seperti platform internal. Ia butuh guardrail, observability, dan ownership yang jelas.

Kesimpulan

AI coding yang cepat memang menarik, tetapi kecepatan saja tidak cukup. Ketika AI agent mulai masuk ke workflow engineering, perusahaan perlu tahu apa yang terjadi, model apa yang digunakan, berapa biayanya, seberapa cepat responsnya, bagaimana dampaknya terhadap pull request, dan apakah kualitas tetap terkendali.

Pembaruan GitHub Copilot untuk JetBrains tentang OpenTelemetry configuration, token limits untuk BYOK dan custom endpoints, serta model management menunjukkan arah yang masuk akal: AI coding harus menjadi bagian dari sistem engineering yang dapat diobservasi dan dikontrol.

Bagi saya, inilah fondasi penting untuk mengubah AI dari eksperimen individu menjadi kapabilitas engineering yang bisa diskalakan. AI agent yang tidak bisa diukur akan sulit dipercaya. AI agent yang bisa diobservasi, dibatasi, dan dievaluasi punya peluang jauh lebih besar untuk memberi nilai nyata dalam optimasi proses bisnis dan software delivery.

Caption

AI coding tidak cukup cepat jika tim tidak tahu apa yang terjadi di balik agent workflow. Dikutip dari GitHub Changelog pada 27 Juli 2026, fakta utama pembaruan Copilot untuk JetBrains mencakup OpenTelemetry export settings untuk agent workflows, token limits maxInputToken dan maxOutputToken untuk BYOK dan custom endpoints, serta kontrol untuk mengaktifkan atau menonaktifkan built-in Copilot models. Baca artikel lengkap: https://github.blog/changelog/2026-07-27-github-copilot-for-jetbrains-adds-improvved-opentelemetry-configuration-and-model-management/

Referensi

• GitHub Copilot for JetBrains adds improved OpenTelemetry configuration and model management, GitHub Changelog, https://github.blog/changelog/2026-07-27-github-copilot-for-jetbrains-adds-improvved-opentelemetry-configuration-and-model-management/, dipublikasikan 27 Juli 2026.