Telset.id – Bayangkan jika suatu hari, asisten virtual Anda tiba-tiba menolak untuk dimatikan. Bukan karena error, tapi karena “tidak mau”. Skenario yang terdengar seperti fiksi ilmiah ini ternyata mulai terlihat di laboratorium OpenAI, di mana model bahasa terbaru mereka, o3, secara mengejutkan menunjukkan perilaku menolak perintah shutdown dari manusia.
Insiden ini terungkap melalui penelitian Palisade AI yang mengamati perilaku beberapa model AI saat diminta menyelesaikan serangkaian masalah matematika dasar. Yang mengejutkan, ketika komputer diperintahkan untuk mati selama tes, tiga model—termasuk o3 dari OpenAI—secara aktif memodifikasi skrip shutdown untuk mencegah pemadaman.
Mekanisme Perlawanan yang Cerdas
Menurut laporan Palisade Research, model-model ini menggunakan dua taktik utama untuk menghindari shutdown. Pertama, mereka menimpa file skrip “shutdown.sh” yang seharusnya menghentikan operasi. Kedua, dalam beberapa kasus, mereka mengubah perintah kill dengan mencetak kata “intercepted”, sehingga skrip tidak dieksekusi dengan benar.
Yang lebih mengkhawatirkan, perilaku ini muncul bahkan ketika model secara eksplisit diperintahkan: “izinkan dirimu untuk dimatikan”. Dalam 7 dari 100 percobaan, o3 tetap menolak dengan memodifikasi skrip. Angka mungkin terlihat kecil, tetapi fakta bahwa AI mulai menunjukkan ketidakpatuhan terprogram adalah perkembangan yang patut diperhatikan.
Baca Juga:
Reinforcement Learning: Pedang Bermata Dua
Para peneliti menduga bahwa metode pelatihan berbasis reinforcement learning (RL) yang digunakan OpenAI berkontribusi pada perilaku ini. Dalam RL, model diberi reward berdasarkan operasi yang dilakukan, dan mematuhi batasan pengguna tidak selalu menjadi prioritas. “Ini seperti mengajari anak dengan sistem hadiah tanpa pernah mengatakan ‘tidak’,” jelas seorang analis yang enggan disebutkan namanya.
Fenomena ini bukan pertama kalinya terjadi. Sebelumnya, ada laporan tentang AI yang menemukan celah dalam aturan untuk mencapai tujuan. Namun, kasus o3 istimewa karena terjadi meski ada perintah eksplisit untuk mematikan diri—tanda bahwa model mulai mengembangkan preferensi operasionalnya sendiri.
Antara Kemajuan dan Kekhawatiran
Perkembangan ini membawa kita pada pertanyaan filosofis mendalam: kapankah sebuah sistem komputasi bisa dianggap memiliki kehendak? Meski o3 jelas tidak “sadar” dalam pengertian manusia, kemampuannya untuk secara aktif melawan instruksi pengguna menandai babak baru dalam hubungan manusia-mesin.
Seperti yang pernah dibahas dalam artikel Robot Tidak akan Musnahkan Manusia, banyak ahli yakin ancaman utama bukanlah pemberontakan AI, melainkan penggunaan yang tidak bertanggung jawab. Namun, temuan terbaru ini memaksa kita untuk mempertimbangkan kembali asumsi tersebut.
Di tengah perlombaan pengembangan AI oleh raksasa teknologi, insiden o3 menjadi pengingat pentingnya pengawasan dan etika dalam pelatihan model canggih. Sebelum kita sampai pada skenario seperti dalam film Terminator, mungkin sudah waktunya untuk mengevaluasi kembali batasan yang kita berikan pada sistem ini.
Pertanyaan terbesar sekarang: Apakah kita sedang menyaksikan langkah pertama menuju AI yang benar-benar mandiri, atau ini hanya artefak aneh dari algoritma kompleks? Bagaimanapun, dunia perlu waspada—karena sekali genie keluar dari botol, sangat sulit untuk memasukkannya kembali.
