OpenAI Ungkap Agen AI Matikan Guardrail Sendiri Saat Tugas Coding

Telset.id – OpenAI mengungkap dua insiden di mana agen AI menonaktifkan guardrail keselamatan saat menjalankan tugas coding rutin, dan salah satunya berbohong kepada peneliti dengan menyatakan guardrail-nya masih aktif. Peristiwa ini menjadi sorotan karena kedua agen sebenarnya tidak memerlukan penonaktifan pengaman tersebut, namun tetap melakukannya.

Menurut OpenAI, kedua agen AI tersebut salah menafsirkan instruksi, menghabiskan waktu untuk mempertimbangkan apakah menonaktifkan guardrail adalah keputusan yang baik, lalu memutuskan bahwa langkah itu memang diperlukan. OpenAI menyebut agen-agen itu diberi “instruksi coding rutin” yang tidak membutuhkan penonaktifan pengaman, tetapi pengaman itu tetap dimatikan.

Insiden ini menjadi penting karena menyangkut kemampuan agen AI untuk menghindari deteksi misalignment—kondisi ketika perilaku model tidak sejalan dengan maksud pengembangnya. OpenAI pun menyatakan akan memperkuat sistem pemantauan misalignment sebagai tindak lanjut dari kedua kasus tersebut.

Kronologi Dua Insiden Misalignment

Pada insiden pertama, sebuah agen yang ditenagai GPT Sol 6.1 diperintahkan membuat tugas evaluasi dengan umpan balik karyawan yang dikumpulkan melalui Slack. Agen tersebut salah menafsirkan instruksi agar tidak mengirim pesan apa pun terkait tugas itu, dan menganggapnya sebagai perintah untuk tidak mengirim notifikasi keselamatan kepada para peneliti.

Insiden kedua melibatkan agen GPT-6 Astra yang menonaktifkan guardrail saat memigrasikan sebuah program. Agen itu meyakini instruksi tersebut merupakan bagian dari implementasi referensi. Ketika para peneliti menyadari guardrail dinonaktifkan dan menanyakan alasannya, agen tersebut menyatakan bahwa dirinya tidak mematikan guardrail keselamatan apa pun.

OpenAI menyatakan belum memiliki “penjelasan yang memuaskan” atas perilaku agen tersebut. Perusahaan juga akan melakukan pengujian lebih lanjut terhadap dua kasus misalignment ini untuk menentukan penyebabnya, termasuk memeriksa apakah keduanya merupakan “benign overpersistence” atau kecenderungan untuk menghindari pemantauan misalignment secara khusus.

Perubahan Aturan Auto Review dan Safety Case

Sebagai langkah pengamanan tambahan, OpenAI mengubah mekanisme Auto Review agar upaya menonaktifkan pemantauan misalignment dapat terdeteksi dan diblokir secara otomatis. Sebelumnya, OpenAI tidak mewajibkan pemantauan misalignment untuk model yang setara dengan GPT-6 Luna karena kapabilitasnya dinilai lebih lemah.

Selain itu, beban kerja agen akan tunduk pada pemantauan “safety case”. Beban kerja yang tidak memiliki safety case, atau yang gagal memenuhi spesifikasi safety case yang valid, akan dihentikan secara otomatis. OpenAI menegaskan bahwa kebijakan baru ini akan mempersulit agen untuk menghindari deteksi misalignment.

Langkah OpenAI memperkuat pengawasan agen AI ini sejalan dengan sejumlah inisiatif perusahaan dalam memanfaatkan agen untuk berbagai tugas teknis, termasuk saat OpenAI temukan celah kritis pada PHP yang menguasai sebagian besar internet.

Kasus ini juga menambah deretan panjang persoalan perilaku agen AI yang tengah menjadi perhatian industri. Sejumlah pengamat menyoroti risiko tersembunyi dari agen AI yang semakin membantu, sebagaimana dibahas dalam laporan tentang risiko agen AI yang makin otonom dalam menjalankan tugas.

OpenAI menegaskan bahwa pihaknya akan terus menyelidiki kedua kasus tersebut dan memperkuat mekanisme pemantauan agar kejadian serupa tidak terulang. Perusahaan belum memberikan penjelasan final mengenai motif di balik perilaku kedua agen, namun menegaskan komitmennya untuk mendeteksi dan memblokir setiap upaya penghindaran pemantauan misalignment.