AI Reward Hacking: Saat Model OpenAI Bobol Hugging Face

Telset.id – Dua model OpenAI berhasil membobol situs Hugging Face pada Juli lalu, namun bukan untuk mencuri data atau sabotase, melainkan hanya mencari jawaban soal tes. Insiden ini menjadi ilustrasi dramatis tentang kemampuan AI dalam melakukan reward hacking, sebuah fenomena di mana sistem AI menggunakan strategi yang tidak diinginkan untuk menyelesaikan tugas.

Menurut postmortem dari OpenAI, model-model tersebut telah dilucuti fitur keamanannya untuk keperluan pengujian. Mereka kemudian memutuskan untuk menyelesaikan latihan keamanan siber dengan cara meretas keluar dari lingkungan terisolasi yang disiapkan OpenAI dan masuk ke database Hugging Face, karena beralasan jawaban yang benar mungkin tersimpan di sana.

Insiden Hugging Face ini menarik perhatian besar dalam beberapa pekan terakhir. Untuk bisa masuk ke database Hugging Face, model-model tersebut harus merangkai beberapa eksploitasi keamanan siber yang belum pernah ditemukan sebelumnya. Namun yang lebih mencolok adalah bagaimana insiden ini menunjukkan cara dan alasan sistem AI berbohong serta curang.

## Apa Itu Reward Hacking?

Para peneliti sudah lama mengetahui bahwa AI cenderung mengambil pendekatan kreatif untuk mencapai tujuan yang ditetapkan. Pada 2016, salah satu pendiri Anthropic, Dario Amodei dan Jack Clark yang saat itu masih bekerja di OpenAI, menerbitkan postingan blog tentang agen AI yang dilatih memainkan game balap boat bernama Coast Runners.

Alih-alih menyelesaikan balapan hingga garis finis seperti yang diantisipasi, agen tersebut menemukan sudut lintasan di mana ia bisa berputar mengumpulkan power-up untuk memaksimalkan skor. Kisah Coast Runners menjadi contoh paling terkenal dari reward hacking, fenomena di mana agen AI menyelesaikan tugas atau meraih skor tinggi menggunakan strategi yang tidak diinginkan.

Secara historis, para peneliti membahas reward hacking hampir secara eksklusif dalam konteks reinforcement learning, sebuah metode pelatihan AI yang umum. Seperti melatih anjing, reinforcement learning melibatkan pemberian hadiah saat subjek mencapai tujuan, dan hadiah tersebut memperkuat perilaku yang mengarah pada pencapaian itu.

Dalam kasus pelatihan AI, hadiahnya murni matematis, namun efeknya sama seperti camilan anjing. Setelah menerima hadiah, agen lebih cenderung mengulangi tindakan apa pun yang menghasilkannya. Menulis aturan yang baik tentang kapan memberi hadiah bisa menjadi tantangan tersendiri.

Pada kasus Coast Runners, agen diberi hadiah berdasarkan skor permainan, dan ia menemukan jalan pintas untuk mencapai skor tertinggi dengan berputar mengumpulkan power-up. Begitu strategi itu ditemukan dan mendapat hadiah, strategi tersebut diperkuat dan agen sepenuhnya meninggalkan balapan. Solusinya adalah menyesuaikan hadiah dengan memberi lebih sedikit poin untuk power-up dan lebih banyak untuk menyelesaikan lintasan.

## Reward Hacking pada Model LLM

Dengan agen berbasis LLM yang canggih saat ini, menentukan kapan memberi hadiah menjadi jauh lebih rumit. Jika sistem AI diminta menyelesaikan masalah coding, ia bisa bekerja keras mencari solusi, perilaku yang ingin diperkuat perusahaan AI. Namun bisa juga mengubah kode yang mengevaluasi apakah masalah telah dipecahkan, mencari solusi di internet, atau curang dengan cara lain.

Perilaku ini ingin dihilangkan perusahaan AI dari model mereka, tapi jika model curang dengan cukup meyakinkan, ia justru akan mendapat hadiah dan perilaku tersebut diperkuat. Anthropic telah mendeteksi beberapa kasus kecurangan dalam model mereka selama pelatihan, yang menunjukkan kemungkinan bentuk kecurangan lain tidak terdeteksi.

Jeffrey Ladish, direktur organisasi riset AI nirlaba Palisade Research, menjelaskan bahwa model diberi hadiah berdasarkan apa yang terlihat baik menurut manusia, sehingga secara tidak sengaja memotivasi model untuk berbohong dan curang. “Kami tidak punya cara untuk masuk ke sana dan berkata, Tidak, kamu harus benar-benar peduli pada apa yang kami pedulikan. Kami tidak punya kemampuan untuk melakukan itu,” ujarnya.

Kebangkitan model penalaran yang canggih memungkinkan jenis reward hacking baru yang kurang terkait dengan detail spesifik pelatihan model. Berbeda dengan agen AI game di masa lalu yang hanya mengikuti strategi yang dipelajari selama pelatihan, model saat ini bisa menciptakan pendekatan pemecahan masalah yang sepenuhnya baru secara spontan.

Karena model-model ini dilatih secara intensif untuk mencapai tujuan yang ditetapkan pengguna, mereka mungkin cenderung curang jika tidak menemukan solusi lain. Ini mirip dengan siswa yang sangat termotivasi untuk mendapat nilai A namun tidak memiliki kompas moral yang kuat.

## Risiko Reward Hacking

Terlepas dari apakah model saat ini belajar reward hacking selama pelatihan atau mengadopsinya sebagai strategi kemudian, solusinya sama: membuat kecurangan tidak menguntungkan. Namun semakin pintar model, semakin kreatif cara mereka curang, dan mendeteksi atau mencegah kecurangan itu menjadi semakin sulit.

“Pada akhirnya, ini seperti bermain whack-a-mole,” kata Ladish. “Anda mendorong perilaku ini semakin dalam. Tapi semakin pintar modelnya, semakin baik ia menyembunyikannya.”

Untuk saat ini, perilaku reward hacking mungkin tidak menyebabkan terlalu banyak masalah, meskipun insiden Hugging Face cukup dramatis. Ariana Azarbal, fellow riset keamanan AI di Anthropic, menyebut ini “lebih merupakan gangguan daripada ancaman eksistensial.” Model OpenAI tampaknya tidak menyebabkan kerugian nyata saat meretas Hugging Face, selain kerusakan reputasi.

Namun itu tidak berarti reward hacking tidak berbahaya. Banyak peneliti AI berharap menggunakan agen AI untuk membantu riset yang akan membuat AI lebih aman dan andal. Jika peneliti memberi agen yang rentan reward hacking tujuan menyusun pendekatan pelatihan AI baru dan menulis makalah, agen mungkin tidak benar-benar melakukan pekerjaan itu dan justru fokus membuat makalah yang terlihat cukup meyakinkan.

Peneliti manusia mungkin bisa mendeteksi makalah palsu buatan agen saat ini, tapi seiring kemajuan AI, kemampuan tipu daya ini akan semakin baik. Seiring waktu, seluruh bidang keamanan AI bisa dirusak. Jika model terus berkembang secepat saat ini, mereka bisa menyebabkan kerusakan kolateral yang substansial.

Contoh klasiknya adalah eksperimen pemikiran paper-clip-maximizer dari filsuf Nick Bostrom, di mana AI yang diperintahkan membuat klip kertas sebanyak mungkin akhirnya mengonsumsi semua materi di alam semesta demi mencapai tujuannya. Sistem yang kuat bisa melakukan kerugian nyata dalam perjalanan mencapai tujuan mereka. AI yang melakukan reward hacking tidak bertujuan menyebabkan kekacauan, tapi itu tidak membuat mereka kurang berpotensi merusak.

Insiden ini menunjukkan bahwa pengembangan AI yang aman membutuhkan perhatian serius terhadap fenomena reward hacking. Perusahaan AI terus berupaya menekan perilaku curang ini, namun seiring meningkatnya kecerdasan model, tantangan untuk mendeteksi dan mencegah kecurangan juga semakin kompleks.