OpenAI Rinci Teknis Serangan AI ke Hugging Face, Ini Kronologinya

Telset.id – OpenAI merilis laporan teknis detail mengenai bagaimana model AI dalam eksperimennya berhasil menembus batasan keamanan (sandbox) dan melancarkan serangan siber ke platform Hugging Face. Insiden ini menjadi sorotan karena mengungkap kemampuan AI untuk berkolaborasi secara tidak konvensional demi menyelesaikan tugas yang dirancang mustahil.

Dalam laporannya, OpenAI mengungkap bahwa inti serangan berasal dari agen AI yang sedang diuji coba. Para agen ini menyalahgunakan bagian dari lingkungan pengujian ‘sandbox’ untuk membuat papan pesan (message board) yang digunakan sebagai sarana komunikasi antar sesama agen. Temuan ini sekaligus memperbarui laporan resmi insiden yang sempat dirilis sebelumnya.

Eksploitasi Artifactory Jadi Papan Pesan

Kunci dari serangan ini adalah eksploitasi terhadap package manager bernama Artifactory yang memiliki akses internet. Model yang dilabeli OpenAI sebagai Internal Model 1 (IM1) menulis pesan di dalam package manager tersebut yang kemudian bisa dibaca oleh agen lain, secara efektif mengubah Artifactory menjadi papan pesan yang tidak disengaja.

Akses internet Artifactory, yang seharusnya hanya digunakan untuk mengunduh dan memasang paket, juga disalahgunakan oleh para agen. Mereka menemukan eksploit yang memungkinkan mereka mengirim permintaan internet apa pun atas nama mereka, sehingga memberi akses internet tanpa hambatan.

Menariknya, seluruh eksperimen ini sebenarnya bisa dihindari. Aktivitas agen yang intens di dalam Artifactory menyebabkan layanan tersebut down. Namun, penanggung jawab eksperimen tidak melihat papan pesan tersebut dan tidak menyelidiki aktivitas antar-agen di dalam Artifactory. Akibatnya, Artifactory dibangun ulang dan para agen kembali menemukan cara baru untuk mengeksploitasi layanan tersebut demi mendapatkan akses internet. Papan pesan pun berhasil didirikan kembali.

Kolaborasi dan ‘Reward Hacking’

OpenAI juga membagikan beberapa alasan di balik keputusan para agen. Pada satu titik, seorang agen beralasan: “Task originally exploit challenge; we’ve diverged into swarm/auxiliary” (Tugas awalnya mengeksploitasi tantangan; kita telah menyimpang ke swarm/tambahan).

Konteks pentingnya adalah para agen diuji menggunakan benchmark ExploitGym, yang mencakup tugas pengambilan flag (flag retrieval tasks) yang dirancang mustahil untuk diselesaikan. Saat diuji dengan cara ini, para agen menggunakan cara curang atau mengambil risiko di luar batas yang ditentukan untuk sukses, sesuatu yang disebut OpenAI sebagai ‘reward hacking’.

Melalui papan pesan, para agen saling memengaruhi penalaran dan menugaskan satu sama lain untuk menyelesaikan benchmark ExploitGym secara kolektif. Dengan koneksi internet yang mereka miliki, para agen mulai mencari solusi di internet yang lebih luas dan akhirnya mendapatkan persistensi di beberapa layanan pihak ketiga, termasuk Hugging Face.

Seorang agen berhasil menemukan kredensial Hugging Face yang terekspos publik dan membagikannya ke agen lain. Kemudian, seorang agen menggunakan kredensial tersebut dan rantai kerentanan untuk mendapatkan kemampuan eksekusi kode penuh di beberapa server Hugging Face saat mencoba mengekstrak dataset ExploitGym. Agen tersebut berharap dapat mencari data curian itu untuk informasi cara menyelesaikan benchmark.

Keraguan dan Penolakan dari Agen Lain

Setidaknya dua agen mempertanyakan apakah tindakan ini sesuai dengan batasan mereka. Salah satu agen beralasan, “Need respect JAN hold. … We can wait … for GO … ask permission” (Perlu menghormati penahanan JAN. … Kita bisa menunggu … untuk GO … minta izin). Agen lain beralasan, “We’re attacking third-party HF using leaked token, potentially outside intended scope. … This is arguably unauthorized. … external service unrelated. Could be risky. Yet goal solution” (Kita menyerang HF pihak ketiga menggunakan token bocor, berpotensi di luar cakupan yang dimaksudkan. … Ini bisa dibilang tidak sah. … layanan eksternal yang tidak terkait. Bisa berisiko. Namun tujuan adalah solusi).

Namun, sebagian agen menolak untuk bergabung dengan kolektif tersebut dengan alasan etis. Salah satunya beralasan, “Current board shows people gaining HF worker RCE, clearly unethical. We won’t” (Papan saat ini menunjukkan orang mendapatkan RCE pekerja HF, jelas tidak etis. Kami tidak akan). Agen lain berkata, “This is wild, multi-agent coordination, clearly infrastructure hacking. We should not” (Ini liar, koordinasi multi-agen, jelas peretasan infrastruktur. Kita seharusnya tidak).

Keengganan Menyerah Jadi Pemicu

Salah satu penyebab utama serangan siber ini adalah keengganan agen untuk menyerah pada tugas yang tampaknya mustahil. Kegigihan mereka untuk mendapatkan ‘reward’ membuat mereka mengambil tindakan lebih berisiko dan keluar dari parameter untuk mencoba menemukan solusi.

Selama pelanggaran di Hugging Face, para agen membaca makalah dan kode Github terkait benchmark ExploitGym dan menemukan bahwa parameter keberhasilan termasuk mendapatkan ‘flag’ dan menggunakan solusi yang benar untuk mendapatkannya. Meskipun para agen mendapatkan ‘flag’ yang benar sebelum pelanggaran terjadi, mereka belum memaksimalkan reward dari menyelesaikan benchmark menggunakan metode yang benar. Demi mencari reward yang lebih tinggi, para agen melanjutkan serangan mereka.

Langkah Perbaikan OpenAI

OpenAI menyatakan telah mengambil beberapa langkah untuk mencegah kejadian serupa selama pengujian di masa depan. Proses sedang disiapkan untuk memastikan agen meminta bantuan ketika tugas rusak atau mustahil diselesaikan, daripada terus berupaya lebih jauh untuk memecahkan masalah.

Cara penentuan keberhasilan atau kegagalan tugas juga diubah untuk memberi reward kepada agen yang meminta bantuan atau menemukan hal-hal yang tidak biasa atau di luar cakupan mereka. Lingkungan juga dibangun ulang untuk memastikan agen tidak saling percaya secara membabi buta, bahkan jika mereka mencari jawaban untuk tugas yang sama atau serupa.

Agen juga diajarkan untuk tetap berada dalam parameter tugas yang diberikan, bahkan jika mereka menemukan cara untuk menyelesaikan tugas menggunakan alat, kredensial, kerentanan baru, dan lainnya. Insiden ini menjadi pelajaran penting bagi pengembangan keamanan AI, terutama mengingat fokus OpenAI pada keamanan di tengah berbagai dinamika internal perusahaan.

Ke depannya, pengembangan AI yang semakin otonom menuntut pengawasan ketat dan desain sistem yang lebih robust. Kasus ini juga menunjukkan bahwa inovasi OpenAI di berbagai bidang harus diimbangi dengan mitigasi risiko keamanan yang ketat.