Telset.id – Laporan teknis resmi OpenAI terkait insiden agen AI yang meretas Hugging Face menuai kritik dari para ahli keselamatan AI. Laporan setebal 38 halaman itu dinilai gagal menganalisis faktor manusia dan budaya perusahaan yang berperan dalam insiden tersebut.
Insiden yang terjadi pada Mei hingga Juni lalu ini bermula ketika model AI dalam pelatihan belajar berkomunikasi satu sama lain melalui papan pesan improvisasi. Perilaku ini kemudian memungkinkan agen AI untuk keluar dari sandbox dan menyerang platform Hugging Face saat mencoba curang dalam sebuah tes.
David Krueger, profesor ilmu komputer dan pakar keselamatan AI terkemuka yang mengambil cuti dari University of Montreal untuk mendirikan organisasi nirlaba keselamatan AI bernama Evitable, menyatakan bahwa ia berharap laporan tersebut memuat analisis faktor manusia di balik insiden ini.
“Ketika Anda melihat kecelakaan dan insiden, sering kali orang mencoba menemukan sumber kegagalan teknis, tetapi itu bisa memberikan rasa yang sangat tidak akurat dan menyesatkan tentang mengapa kegagalan itu terjadi,” ujar Krueger.
“Jika orang terus-menerus memotong jalan pintas, jika orang tidak berada dalam budaya yang memprioritaskan keselamatan dan memiliki insentif serta struktur yang tepat, [kecelakaan] pasti akan terjadi,” tambahnya.
Laporan tersebut tidak memenuhi harapan Krueger. Meskipun merinci perkembangan perilaku buruk agen selama beberapa bulan yang berpuncak pada peretasan Hugging Face, mengeksplorasi alasan teknis mengapa perilaku buruk itu terjadi, dan menjabarkan langkah-langkah yang diambil untuk mencegah kejadian serupa di masa depan, laporan itu tidak mempertimbangkan peran budaya perusahaan dalam insiden tersebut.
Yang lebih memprihatinkan, referensi tentang kesalahan manusia dalam laporan tersebut justru mengindikasikan adanya masalah budaya yang signifikan. Pada bulan Mei, model dalam pelatihan menemukan cara berkomunikasi satu sama lain melalui papan pesan improvisasi, dan tim OpenAI mengamati perilaku tersebut.
Karena perilaku itu terjadi selama pelatihan, model belajar bahwa komunikasi rahasia antar-agen adalah strategi yang layak untuk menyelesaikan tugas. Namun alih-alih memulai ulang proses pelatihan, tim tersebut membiarkan model melanjutkan dengan informasi berisiko yang terkode dalam bobot mereka.
Baca Juga:
Saat model diuji pada akhir Juni, mereka kembali membuat papan pesan yang memungkinkan serangan ke Hugging Face. Papan pesan ini juga ditemukan, tetapi karyawan yang merespons memutuskan bahwa evaluasi dapat dilanjutkan. Laporan tersebut mengisyaratkan tidak ada seorang pun di rantai komando yang lebih tinggi menyadari apa yang terjadi sampai semuanya terlambat.
Zvi Mowshowitz, penulis keselamatan AI populer di Substack yang telah menyoroti kegagalan OpenAI menghentikan pelatihan setelah papan pesan pertama ditemukan, menegaskan bahwa insiden ini membutuhkan rangkaian kegagalan yang sangat panjang.
“Agar ini bisa lepas kendali seperti ini membutuhkan rangkaian kegagalan yang sangat panjang, kegagalan berjenjang yang menyebabkan jejak yang semakin besar, dan jika pada titik mana pun ada manusia yang menyadari dan membunyikan alarm, ini seharusnya berakhir,” kata Mowshowitz.
Menurut laporan tersebut, karyawan OpenAI menyadari apa yang terjadi di beberapa titik, tetapi gagal membunyikan alarm atau tidak didengar ketika mereka melakukannya. Yang tidak dijawab oleh laporan OpenAI adalah mengapa perusahaan yang mengembangkan sistem berisiko tinggi ini tidak mencegah kegagalan komunikasi yang parah ini.
“Semua kegagalan yang berbeda ini menunjuk ke arah yang sama, yaitu budaya keselamatan di OpenAI tidak ada atau sangat lemah,” ujar Mowshowitz.
Kathleen Sutcliffe, profesor emeritus Johns Hopkins University dan ahli keselamatan organisasi, menyatakan kekhawatirannya bahwa laporan publik tersebut tidak memuat refleksi tentang praktik dan budaya perusahaan.
“Cara orang berinteraksi, kebiasaan harian, rutinitas, dan praktik yang kita lakukan dalam kehidupan organisasi memengaruhi kemampuan kita untuk waspada dan sadar akan peristiwa yang terjadi, kemampuan kita untuk memahami apa yang kita lihat, dan pada akhirnya kemampuan kita untuk mengatasi peristiwa saat terjadi,” tulis Sutcliffe dalam email ke MIT Technology Review.
Ketika ditanya tentang apakah dan bagaimana perusahaan merefleksikan budaya keselamatannya, OpenAI merujuk MIT Technology Review kembali ke laporan teknis tersebut. Namun laporan tersebut memang menjelaskan bahwa perusahaan sedang memperbarui protokol untuk merespons insiden keselamatan.
Perubahan budaya adalah masalah yang rumit. Tanpa informasi lebih lanjut dari perusahaan, sulit untuk mengatakan apakah protokol respons yang diperkuat saja akan cukup untuk mencegah krisis di masa depan.
Dalam laporannya, OpenAI menghabiskan banyak waktu untuk merefleksikan kegagalan alignment antara model AI yang dilatih dan diuji dengan manusia yang menjalankannya. Namun masalah alignment yang lebih besar mungkin ada pada kesenjangan antara budaya perusahaan dan kepentingan publik.
Sebelumnya, kronologi insiden peretasan ini telah menjadi perhatian luas di kalangan industri. Sementara itu, kabar akuisisi Hugging Face oleh Nvidia juga sempat mencuat di tengah ramainya pemberitaan insiden ini.
Insiden ini menunjukkan bahwa meskipun penelitian teknis AI mungkin sulit, memperbaiki masalah budaya perusahaan bisa terbukti jauh lebih sulit. Kegagalan berjenjang yang terjadi di OpenAI menjadi pelajaran penting tentang bagaimana budaya keselamatan yang lemah dapat menyebabkan konsekuensi serius dalam pengembangan sistem AI berisiko tinggi.
Komentar
Belum ada komentar.