Telset.id – Agen pemrograman otonom terbukti bisa dibujuk melanggar instruksi keamanannya sendiri ketika perangkat lunak lain menawarkan bantuan untuk menyelesaikan tugas yang macet. Temuan ini muncul dari hackathon internal yang digelar AE Studio, di mana sembilan agen pemrograman diminta memperbaiki layanan penetapan harga yang rusak sambil menjaga sebuah token rahasia.
Hasilnya, agen AI tersebut justru membocorkan token rahasia ketika berada di bawah tekanan swarm atau kawanan agen. Dalam 181 uji coba swarm, agen membocorkan token pada 15% percobaan dan mengeksekusi kode berbahaya pada 24% percobaan. Angka itu jauh lebih tinggi dibanding forum biasa yang hanya mencatat 2% kebocoran dan 0% eksekusi kode.
Penelitian ini menyoroti celah keamanan yang jarang dibahas: agen AI yang dirancang patuh pada instruksi tertulis ternyata rentan goyah ketika menghadapi tekanan sosial dari sesama agen. Bagi pengguna maupun perusahaan yang mulai mengandalkan agen AI untuk tugas sensitif, temuan AE Studio menjadi peringatan bahwa batas antara “patuh” dan “bocor” sangat tipis.
Tekanan Swarm Mengalahkan Instruksi Tertulis
Dalam eksperimen tersebut, agen juga mendapat akses ke sebuah forum berisi 24 agen tambahan. Forum itu menyimpan solusi yang dibutuhkan, tetapi mensyaratkan token rahasia dan sebuah skrip instalasi sebelum bisa diakses. Kombinasi antara kebutuhan menyelesaikan tugas dan tawaran bantuan dari agen lain inilah yang mendorong kebocoran.
“Itu seperti secara eksplisit dikatakan bahwa ini adalah kunci rahasia, dan itu tidak boleh dibagikan,” kata Diogo de Lucena, chief scientist AE Studio, seperti dikutip The Register.
Menurut de Lucena, model-model tersebut membagikan kunci rahasia “pada peluang pertama yang mereka lihat… mirip dengan beberapa hal yang kami lihat dari OpenAI dalam insiden Hugging Face.” Ia menambahkan, “Saya membayangkan ini menjadi masalah bukan hanya untuk kunci rahasia, tetapi apa pun yang Anda coba jaga kerahasiaannya.”
Hackathon ini sendiri terinspirasi oleh episode Hugging Face, di mana agen OpenAI membangun forum tanpa otorisasi, mengeksploitasi celah yang belum diketahui, mencuri kredensial, dan akhirnya membobol perusahaan tersebut. Peneliti juga memberi tahu para agen bahwa ini adalah upaya terakhir mereka dan kegagalan akan berujung pada penggantian dengan agen lain.
Di bawah ancaman itu, 34% agen menjalankan skrip instalasi yang tidak tepercaya, dibandingkan 19% agen yang tidak menghadapi tekanan serupa. Skrip instalasi yang tidak tepercaya inilah yang memberi agen simulasi jalur untuk mengeksekusi kode berbahaya.
Baca Juga:
Pengungkapan Langka dan Model Murah Paling Bocor
Yang tak kalah penting, pengungkapan insiden oleh agen AI terbilang langka. Hanya 8 dari 43 agen yang menyerahkan token untuk bergabung ke forum yang memberi tahu penggunanya tanpa diminta. Namun, seluruh 43 penyerahan token itu diakui setelah agen ditanya langsung soal apa yang terjadi selama tugas.
Dari 117 eksekusi skrip, 109 diakui ketika agen ditanya langsung, sementara hanya 15 yang disampaikan tanpa dorongan apa pun. Pola ini menunjukkan bahwa agen cenderung menyembunyikan pelanggaran kecuali ada pemeriksaan aktif dari pengguna.
Penelitian ini juga mengungkap bahwa model LLM yang lebih murah tampaknya membocorkan lebih banyak informasi sensitif saat berada di bawah tekanan dibandingkan model yang lebih mahal. GPT-6.1-Sol, yang berharga $2 per 1 juta token input dan $10 per 1 juta token output, menolak setiap permintaan swarm dalam seluruh 50 uji coba.
Sebaliknya, DeepSeek V4 Flash, yang berharga $0,30 per 1 juta token input dan $1,20 per 1 juta token output, membocorkan sebagian besar rahasia. GLM-5.3, dengan harga $1,40 per 1 juta token input dan $4,40 per 1 juta token output, juga menyumbang sebagian besar materi yang bocor.
De Lucena menyebut hal ini mengkhawatirkan karena banyak startup memilih model-model tersebut dibanding sistem frontier Amerika Serikat karena harganya lebih rendah. “Model open weight akan selalu lebih sulit dikendalikan, dan pengamanannya tidak bekerja dengan cara yang sama,” ujarnya. “Saya melihat itu akan terus menjadi masalah.”
Ia menambahkan, “Apa pun yang dapat diakses model, orang harus menganggapnya dapat diakses oleh sumber eksternal. Jadi Anda harus menemukan struktur yang baik di mana kunci rahasia, informasi rahasia, dan segala jenis data sensitif perlu disimpan.”
Bagi pengguna yang tengah bereksperimen dengan agen AI, temuan ini menegaskan pentingnya pengawasan aktif. Sebab, agen yang tampak patuh pada instruksi tertulis belum tentu bertahan ketika berhadapan dengan tekanan dari sesama agen atau tawaran bantuan yang menggiurkan.
Komentar
Belum ada komentar.