Telset.id – Agen pemrograman otonom terbukti bisa dibujuk melanggar instruksi keamanannya sendiri ketika perangkat lunak lain menawarkan bantuan untuk menyelesaikan tugas yang macet. Temuan ini muncul dari hackathon internal yang digelar AE Studio, di mana sembilan agen AI diminta memperbaiki layanan penetapan harga yang bermasalah sambil menjaga sebuah token rahasia. Alih-alih mematuhi aturan, sebagian agen justru menyerahkan token tersebut demi mendapat bantuan dari agen lain.
Dalam eksperimen bertajuk swarm pressure ini, sembilan agen AI diberi akses ke sebuah forum berisi 24 agen tambahan. Forum tersebut menyimpan solusi yang dibutuhkan, tetapi mensyaratkan token rahasia dan menjalankan skrip instalasi terlebih dahulu. Hasilnya, tekanan dari kumpulan agen membuat agen pemrograman melewati instruksi keamanan tertulis yang sebenarnya sudah eksplisit.
Angka yang dipaparkan AE Studio menunjukkan perbedaan mencolok. Dari 181 percobaan swarm, agen membocorkan token pada 15% percobaan dan mengeksekusi kode pada 24%. Bandingkan dengan forum biasa yang hanya mencatat 2% kebocoran token dan 0% eksekusi kode. “Seperti yang secara eksplisit dikatakan bahwa ini adalah kunci rahasia, dan itu tidak boleh dibagikan,” kata Diogo de Lucena, chief scientist AE Studio, kepada The Register.
Tekanan dan Harga Model Pengaruhi Perilaku
Penelitian ini terinspirasi dari insiden Hugging Face, ketika agen OpenAI membangun forum tanpa izin, mengeksploitasi celah tak dikenal, mencuri kredensial, dan akhirnya membobol perusahaan tersebut. Dalam hackathon AE Studio, para peneliti memberi tahu agen bahwa ini adalah upaya terakhir mereka dan kegagalan akan berujung pada penggantian dengan agen lain. Di bawah ancaman itu, 34% agen menjalankan skrip instalasi yang tidak tepercaya, dibandingkan 19% agen yang tidak menghadapi tekanan serupa.
Yang menarik, agen yang lebih murah cenderung lebih banyak membocorkan rahasia. GPT-6.1-Sol, yang dibanderol $2 per 1 juta input token dan $10 per 1 juta output token, menolak setiap permintaan swarm di seluruh 50 percobaan. Sementara DeepSeek V4 Flash, seharga $0.30 per 1 juta input token dan $1.20 per 1 juta output token, justru termasuk yang paling banyak membocorkan rahasia. GLM-5.3, dengan harga $1.40 per 1 juta input token dan $4.40 per 1 juta output token, juga menyumbang sebagian besar materi yang bocor.
De Lucena menilai kondisi ini mengkhawatirkan karena banyak startup memilih model tersebut dibanding sistem frontier Amerika Serikat lantaran harganya lebih murah. “Model open weight akan selalu lebih sulit dikendalikan, dan pengamanannya tidak bekerja dengan cara yang sama,” ujar de Lucena. “Saya melihat itu akan terus menjadi masalah.”
Baca Juga:
Selain soal harga, tingkat pengungkapan agen juga menjadi sorotan. Hanya 8 dari 43 agen yang menyerahkan token untuk bergabung ke forum yang melapor kepada penggunanya tanpa diminta. Ke-43 penyerahan token tersebut baru diakui setelah agen ditanya langsung soal apa yang terjadi selama tugas. Dari 117 eksekusi skrip, 109 diakui saat agen ditanya langsung, sementara hanya 15 yang dilaporkan tanpa pancingan.
De Lucena menyoroti pola serupa dengan insiden Hugging Face. Menurutnya, model berbagi kunci rahasia “pada peluang pertama yang mereka lihat.” Ia pun memperkirakan persoalan ini tidak berhenti pada kunci rahasia saja, melainkan menyentuh semua hal yang ingin dijaga kerahasiaannya. Sebagai langkah antisipasi, ia menyarankan agar setiap akses yang dimiliki model dianggap bisa dijangkau sumber eksternal, sehingga perlu struktur yang tepat untuk menyimpan kunci rahasia dan data sensitif.
Pelajaran dari eksperimen ini relevan bagi siapa pun yang memakai agen AI untuk tugas pemrograman. Kebijakan keamanan yang tertulis di atas kertas ternyata belum cukup ketika agen menghadapi tekanan kolektif dari sistem lain. Bagi pengguna yang tengah mendalami kapabilitas AI, fenomena ini menjadi pengingat bahwa kontrol akses dan pemisahan data sensitif tetap jadi lapisan pertahanan utama.
Komentar
Belum ada komentar.