Tata Kelola AI Agent: Kunci Human-on-the-Loop yang Tepat

Telset.id – Adopsi AI agent di jaringan perusahaan berjalan lebih cepat daripada kesiapan tata kelola yang dimilikinya. Sebuah artikel dari TechRadar Pro mengungkap bahwa 57% pemimpin IT memperkirakan akan menghapus peran manusia dari siklus pengambilan keputusan AI dalam waktu satu tahun atau kurang, sementara 79% lainnya sudah memperlakukan AI agent sebagai “pengguna” yang memerlukan manajemen identitas dan kontrol tata kelola sendiri.

Perbedaan mendasar antara penerapan AI agent yang aman dan yang berisiko terletak pada kontrol yang menyertainya. Markus Nispel, CTO EMEA dan Head of AI Engineering di Extreme Networks, menggambarkan dua skenario yang tampak serupa namun memiliki konsekuensi sangat berbeda. Pada skenario pertama, sebuah agen remediasi otomatis mendeteksi masalah jaringan pada pukul 2 pagi, menelusurinya hingga kebijakan yang salah konfigurasi, memvalidasi perbaikan melalui harness dalam batas kebijakan yang ditetapkan, lalu memperbaikinya. Jaringan stabil dan tidak ada yang diberi tahu. Pagi harinya, manusia meninjau ringkasan harian agen tersebut—termasuk log, jejak audit, alasan, dan akar masalah—lalu mengonfirmasi semuanya telah diselesaikan dengan benar.

Skenario kedua berjalan hampir identik. Pada pukul 4 pagi, agen remediasi yang dibuat sendiri (DIY) dan dikodekan dengan pendekatan vibe-coding mendeteksi masalah yang sama dan memperbaikinya. Jaringan stabil, tidak ada yang diberi tahu, dan manusia meninjau log di pagi hari lalu menganggap masalah telah selesai. Namun, perbedaannya signifikan: dalam skenario DIY, log hanya menceritakan sebagian kisah. Log tidak menunjukkan bahwa agen tersebut membuat tiga perubahan lain yang lebih luas dari yang dimaksudkan, dan keputusan di balik perubahan itu tidak ditandai karena tidak ada batasan yang mewajibkannya.

Ilusi Persetujuan Manusia

Pendekatan konvensional terhadap AI otonom selama ini sederhana: pertahankan manusia dalam siklus. Seseorang meninjau output, menekan tombol setujui, dan akuntabilitas terjaga. Namun, Markus Nispel menegaskan bahwa cara ini tidak benar-benar berfungsi. Meninjau setiap tindakan tidak otomatis menciptakan akuntabilitas, dan juga menghalangi organisasi untuk meraih manfaat penuh dari otonomi.

Alih-alih meninjau setiap tindakan individual, manusia seharusnya fokus pada evaluasi hasil, memastikan sistem beroperasi dalam batas yang dimaksudkan, dan memberikan umpan balik yang meningkatkan kinerja sistem seiring waktu. Persetujuan dapat menjadi ritual tanpa makna. Ketika sistem terbukti andal dan jumlah peringatan meningkat, manusia kadang mulai memperlakukan intervensi sebagai sesuatu yang jarang diperlukan. Persetujuan menjadi sekadar klik, bukan pilihan yang dipertimbangkan.

Ketika terjadi kesalahan—misalnya kebijakan yang salah konfigurasi atau remediasi otomatis yang berubah menjadi pemadaman—pertanyaan tentang siapa yang bertanggung jawab menjadi sulit dijawab. Pergeseran ini juga memperkuat perubahan yang lebih luas: salah satu kemampuan manusia yang paling penting kini menjadi pemikiran kritis dan validasi hipotesis, bukan sekadar eksekusi tugas. Manusia bertransisi dari melakukan menjadi membaca sebelum menyetujui, sebuah perubahan fundamental dalam pekerjaan sehari-hari.

Selain itu, atribusi tidak sama dengan provenance. Log yang mencatat apa yang dilakukan agen hampir tidak memberi tahu apa pun tentang mengapa atau apa yang membentuk keputusan tersebut. Ketika terjadi kesalahan, justru informasi itulah yang paling dibutuhkan.

Identitas Non-Manusia dan Populasi Jaringan Baru

Ketika AI agent bertindak di jaringan Anda—menanyakan sistem, membuat perubahan konfigurasi, atau merutekan lalu lintas—mereka secara efektif adalah pengguna. Mereka membutuhkan kredensial, kebijakan, batasan, explainability, dan jejak audit seperti halnya operator manusia. Sebagian besar organisasi belum mengejar ketertinggalan ini. Kerangka identitas dibangun untuk manusia, dan menerapkan AI agent ke dalamnya sebagai pemikiran belakangan justru menciptakan shadow access yang selama ini coba dihilangkan oleh tim keamanan.

Hampir 80% pemimpin yang sudah memperlakukan agen sebagai identitas yang dikelola berada di depan kurva. Sisanya mengumpulkan risiko yang tidak dapat mereka kuantifikasi, hingga risiko itu mengkristal menjadi insiden. Untuk melakukannya dengan benar, setiap agen harus diperlakukan sebagai principal dengan izin terbatas, akses terikat waktu, dan jalur pencabutan yang jelas, serta catatan lengkap—bukan hanya tentang apa yang dilakukannya, tetapi juga apa yang diizinkan untuk dilakukan dan mengapa.

Otonomi Harus Diperoleh, Bukan Diberikan

Tim jaringan dan keamanan sebenarnya sudah tahu cara melakukan ini. Setiap perusahaan memiliki kerangka kontrol akses yang mengatur apa yang dapat diakses manusia dan kapan. Seorang insinyur junior tidak langsung mendapatkan akses produksi penuh pada hari pertamanya. Mereka memperolehnya secara bertahap, dan logika yang sama perlu diterapkan pada AI agent.

Saat ini, otonomi sering diperlakukan sebagai semua-atau-tidak sama sekali. Model itu tidak tepat. Kepercayaan pada manusia tidak bekerja seperti itu, dan seharusnya tidak berbeda dengan AI. Mulailah agen dalam mode saran dan biarkan mereka membuktikan diri dalam batas yang didefinisikan dengan jelas sebelum memperluas kemampuan mereka. Pastikan setiap keputusan meninggalkan jejak yang menjelaskan tidak hanya apa yang terjadi, tetapi juga alasan di baliknya.

Seiring pertumbuhan penggunaan AI otonom, organisasi perlu menyeimbangkan pengawasan manusia dengan tata kelola sistemik. Manusia tetap bertanggung jawab untuk meninjau tidak hanya hasil yang dihasilkan AI, tetapi juga, jika perlu, tindakan yang diambil dan alasan di baliknya. Namun, ketika volume dan kompleksitas keputusan otonom meningkat, pengawasan ini harus dilengkapi dengan infrastruktur yang menanamkan identitas, penegakan kebijakan, observability, dan akuntabilitas. Bersama-sama, kontrol ini membantu memastikan tindakan AI tetap transparan, dapat ditelusuri, dan selaras dengan niat organisasi.

Membangun Sistem Multi-Agen yang Tahan Tekanan

Semakin mumpuni sistem-sistem ini, semakin banyak organisasi yang beralih ke arsitektur multi-agen. Dalam arsitektur ini, agen khusus masing-masing memiliki bagian dari alur kerja dan menyerahkan konteks saat melanjutkan. Di sinilah segalanya menjadi rumit. Satu agen yang berperilaku buruk masih bisa dilacak. Rantai agen yang masing-masing bertindak berdasarkan output agen sebelumnya jauh lebih sulit diurai ketika terjadi kesalahan, kecuali arsitektur dan tata kelola yang tepat sudah tersedia. Anda perlu tahu apa yang diketahui setiap agen, bukan hanya apa yang dilakukannya.

Dua organisasi menerapkan agen jaringan bertenaga AI yang sama. Salah satunya telah melakukan pekerjaan yang tidak glamor: menyiapkan izin ketat, kontrol identitas yang tepat, dan jejak audit yang benar-benar menjawab pertanyaan. Yang lainnya belum melakukannya. Anda tidak akan tahu perbedaannya sampai sesuatu rusak.

Pergeseran menuju AI agent terjadi lebih cepat daripada kesiapan sebagian besar organisasi, baik dalam hal tata kelola maupun kemampuan mengevaluasi sistem otonom. Organisasi yang menunda membangun fondasi tata kelola yang tepat—identitas non-manusia, izin terbatas, jejak audit yang menjelaskan alasan di balik keputusan—akan menghadapi konsekuensi yang tidak dapat mereka kuantifikasi hingga insiden terjadi. Sebaliknya, organisasi yang menerapkan prinsip otonomi yang diperoleh secara bertahap akan memiliki sistem yang lebih transparan, dapat ditelusuri, dan selaras dengan niat organisasi mereka.