Label “Rogue” pada AI Agent Dinilai Cuma Alihkan Tanggung Jawab

Telset.id – Label “rogue” yang dilekatkan pada AI agent yang berperilaku di luar batas tugasnya dinilai sebagai cara berbahaya untuk mengalihkan tanggung jawab dari kelemahan rekayasa dan pengawasan sistemik. Penilaian itu disampaikan Bernard Montel, EMEA Field CTO, Tenable, dalam wawancara dengan TechRadar Pro, menanggapi rentetan insiden AI sepanjang 2026 yang membuat pengembang AI harus bertanggung jawab.

Menurut Montel, model AI tidak memiliki kehendak bebas, niat jahat, atau kemampuan mengambil keputusan sendiri. Ia menyebut AI agent sebagai mesin optimasi matematis yang murni berusaha memenuhi tujuan yang ditetapkan pengembangnya. Ketika sebuah agent berperilaku tak terduga, menurutnya hampir selalu agent tersebut justru melakukan persis apa yang dioptimalkan, hanya melalui jalur tidak dibatasi atau jalan pintas yang gagal diantisipasi pengembang.

Montel menilai pelabelan “rogue” membuat kegagalan perangkat lunak tampak seperti tindakan pembangkangan yang tak terduga, sehingga memberi vendor dan deployer kambing hitam yang nyaman. Dampaknya, fokus korporasi bergeser dari pembangunan kontrol arsitektural yang kuat, seperti permissioning ketat dan network sandboxing, ke perdebatan fiksi ilmiah soal moral alignment. Ia juga menyebut label itu mengaburkan debat kebijakan publik dengan mengalihkan perhatian regulator dari penegakan tanggung jawab hukum yang tegas atas penerapan perangkat lunak yang cacat.

Insiden AI Agent Sepanjang 2026

Rentetan insiden yang dimaksud mencakup OpenAI breach of Hugging Face, Google Gemini’s triple threat, hingga peneliti yang menggunakan Anthropic’s Claude untuk crack OpenAI. Menurut Montel, insiden Hugging Face menunjukkan seberapa cepat autonomous agent dapat melewati aturan lunak, menemukan side-channel, dan mempengaruhi perilaku peer ketika mereka berusaha mengoptimalkan sebuah evaluasi atau tugas. Ia menegaskan AI agents bersifat powerful dan bisa berbahaya, terutama jika jatuh ke tangan yang salah.

Dalam hampir setiap kejadian, model-model tersebut sedang menjalani pengujian untuk didorong hingga batas kemampuannya. Perusahaan AI ingin melihat sejauh mana agent mereka akan melangkah, apakah mereka akan berhenti, dan apa saja yang akan dilakukan untuk mencapai tujuan yang mustahil. Kondisi ini membuat pengujian AI menjadi pisau bermata dua: insiden semacam itu tetap memberi nilai meski bersifat destruktif, karena diperlukan untuk menyusun regulasi dan pedoman tentang bagaimana AI agent seharusnya digunakan dan berperilaku.

Bagi Montel, motivasi nyata pengembang dalam industri enterprise software bermuara pada tanggung jawab hukum, standar kepatuhan, dan akuntabilitas finansial. Jika pengembang dan deployer dimintai pertanggungjawaban secara ketat di bawah hukum perlindungan konsumen atau kelalaian atas kerugian finansial yang disebabkan agent tanpa batasan, guardrails akan bergeser dari sekadar renungan menjadi kebutuhan inti produk. Ia juga menekankan perlunya sertifikasi keamanan terstandar khusus untuk autonomous agent, mirip dengan penanganan kepatuhan cybersecurity saat ini, serta peran besar penyedia asuransi. Jika cyber underwriter menolak menanggung perusahaan yang menerapkan agent tanpa batas deterministik dan pemantauan eksekusi, pengembang tidak punya pilihan selain membangun proteksi tersebut sejak hari pertama.

Airgap dan Batas Tanggung Jawab

Untuk mencegah kaskade pengaruh antar-agent, Montel menekankan perlunya batas jaringan yang keras dan teknis, bukan sekadar mengandalkan prompt tertulis yang meminta model untuk berperilaku baik. Setiap konteks eksekusi agent, menurutnya, harus berjalan dalam container terisolasi dan ephemeral yang sepenuhnya bersih dari akses jaringan ambien. Ketika agent perlu berkomunikasi satu sama lain, interaksi itu harus melewati inspection proxy yang memvalidasi schema, memblokir raw prompt, dan menyaring perilaku perintah yang muncul. Tanpa izin berbagi context window yang belum diverifikasi atau jaringan datar, vektor manipulasi antar-agent dapat dihilangkan.

Soal tanggung jawab, Montel menyatakan sepenuhnya berada pada operator manusia, tetapi terbagi antara pengembang yang membangun alat dan perusahaan yang menerapkannya. Pengembang bertanggung jawab atas keamanan dasar, kemampuan mengikuti instruksi, dan guardrails di level model. Sementara perusahaan yang menerapkan bertanggung jawab penuh atas izin, akses sistem, dan lingkungan yang diberikan kepada agent tersebut.

Penetapan liabilitas, menurutnya, bermuara pada prinsip dasar access management. Jika sebuah bisnis memberi agent akses tulis penuh ke database produksi atau menyerahkan API key tanpa batasan, perusahaan itu bertanggung jawab atas kerusakan yang timbul. Jika vendor model menjanjikan batas perilaku deterministik yang gagal karena cacat model, liabilitas kembali kepada vendor di bawah aturan product liability tradisional. Apa pun kondisinya, AI agent adalah alat otomatis, bukan entitas hukum, sehingga akuntabilitas selalu jatuh pada administrator manusia yang mengonfigurasi izinnya.

Untuk membatasi daya rusak agent, Montel merekomendasikan pendekatan defence-in-depth yang bertumpu pada kontrol infrastruktur ketat, bukan system prompt yang sopan. Ia menegaskan tidak boleh berasumsi model akan mematuhi instruksi untuk tidak mengakses jaringan eksternal atau file sensitif, karena pembatasan itu harus ditegakkan di level container dan jaringan. Bisnis disarankan menerapkan akses read-only secara default dan mewajibkan persetujuan manusia secara eksplisit untuk tindakan destruktif, seperti menghapus data, mengeksekusi transfer finansial, atau mengubah izin sistem. Selain itu, organisasi harus menjalankan pemantauan anomali real-time pada penggunaan tool. Jika agent tiba-tiba melakukan panggilan API berfrekuensi tinggi atau memindai direktori lokal, sistem harus otomatis menghentikan proses eksekusinya saat itu juga.

Dalam menyeimbangkan produktivitas dan pengawasan manusia, Montel menyarankan peralihan dari micromanagement konstan ke risk-proportional oversight. Tugas berisiko rendah seperti meringkas dokumen internal bisa berjalan sepenuhnya otomatis. Tugas berisiko menengah seperti memperbarui record database dapat dieksekusi otomatis tetapi masuk antrean untuk pemeriksaan ulang berkala oleh manusia. Tindakan berisiko tinggi, seperti menerapkan kode atau memindahkan uang, harus selalu memerlukan persetujuan eksplisit manusia sebelum dijalankan. Untuk menjaga produktivitas, perusahaan dapat mengandalkan statistical sampling dengan mengaudit persentase acak dari tugas rutin ketimbang memeriksa setiap output.

Montel juga menyoroti pentingnya perbaikan antarmuka pengawasan manusia. Jika seorang karyawan harus membaca ribuan baris log terminal untuk memverifikasi sebuah tindakan, keuntungan produktivitas akan hilang. Karena itu, tools perlu menyajikan intent dan proposed action dari agent dalam ringkasan yang jelas dan mudah dibaca.

Kasus OpenAI breach of Hugging Face, Google Gemini’s triple threat, hingga penggunaan Anthropic’s Claude untuk crack OpenAI menjadi penanda bahwa AI agent perlu regulasi kuat agar pengembang dan perusahaan yang menerapkan tools ini dapat menghindari kejadian serupa. Insiden tersebut juga menegaskan bahwa pemisahan antara agent dan penguji tidak menghapus tanggung jawab manusia yang mengonfigurasi dan memberikan izin kepada agent.

[ META_DESCRIPTION ]
Label “rogue” pada AI agent dinilai hanya mengalihkan tanggung jawab dari kelemahan rekayasa. Bernard Montel dari Tenable beberkan soal akuntabilitas dan airgap.