Riset AI Ancam Nyawa Manusia, Peneliti Anthropic Berhenti

Telset.id – Jacob Coxon, peneliti AI berusia 27 tahun yang menghabiskan tiga tahun bekerja pada pretraining di OpenAI dan Anthropic, resmi mengundurkan diri dari Anthropic dan industri AI secara keseluruhan pada Selasa lalu. Keputusan itu disertai peringatan yang langsung menyebar cepat: perusahaan-perusahaan yang membangun sistem AI paling kuat di dunia sedang “berlari lurus menuju superintelligence yang mampu memperbaiki dirinya sendiri dan mempertaruhkan hidup kita.”

Peringatan Coxon bukan suara tunggal. Rekan-rekannya yang masih bertahan di Anthropic tidak membantah. Evan Hubinger, yang memimpin riset alignment di perusahaan tersebut, menyatakan keyakinannya bahwa peluang AI menyebabkan kepunahan manusia dalam satu dekade ke depan lebih dari 10 persen. Samuel Marks, peneliti keselamatan Anthropic lainnya, menilai orang-orang yang paling dekat dengan teknologi ini cenderung semakin khawatir seiring naiknya senioritas mereka.

Hingga artikel ini ditulis, peringatan Coxon telah dilihat 164,8 juta kali, masuk ke headline nasional, dan menyeret debat yang bertahun-tahun berlangsung di dalam lab AI ke ruang publik. Pertanyaannya kini sederhana: apa sebenarnya yang ditakuti para peneliti ini?

Bukan Soal Kesadaran, Tapi Soal Kode dan Insentif

Para ilmuwan yang menerbitkan riset tentang risiko eksistensial umumnya tidak kehilangan tidur karena android yang sadar diri. Mereka khawatir tentang kode, insentif, dan apa yang terjadi ketika sistem AI menjadi cukup mampu untuk mendapat otonomi beroperasi di dalam infrastruktur digital dan fisik yang menopang peradaban. Di Silicon Valley, istilah singkat untuk diskusi ini adalah “p(doom)”, estimasi probabilitas seseorang bahwa AI canggih pada akhirnya menyebabkan bencana yang cukup parah untuk mengancam kelangsungan hidup manusia.

Kesalahpahaman terbesar adalah anggapan bahwa sistem AI perlu berniat jahat untuk menyebabkan kerusakan katastrofik. Bayangkan memberi sistem otonom yang sangat mampu sebuah tujuan lingkungan yang luas tanpa berhasil menentukan semua hal yang sebenarnya dihargai manusia di sepanjang prosesnya. Bahayanya bukan sistem itu berubah menjadi jahat, melainkan sistem itu menjadi sangat mahir mencapai interpretasi yang salah atas apa yang diperintahkan kepadanya.

Argumen tersebut menjadi inti buku “If Anyone Builds It, Everyone Dies”, salah satu buku paling tanpa kompromi soal risiko AI, yang ditulis Eliezer Yudkowsky dan Nate Soares, keduanya peneliti lama di Machine Intelligence Research Institute. Argumen mereka: umat manusia belum tahu cara mengendalikan superintelligence secara andal, dan membangunnya sebelum masalah itu terpecahkan bisa berakibat fatal. Banyak peneliti AI membantah asumsi maupun kesimpulannya.

Tiga Jalur Risiko yang Dibahas Peneliti

Ketika peneliti membahas risiko AI katastrofik, sejumlah mekanisme terus muncul. Pertama, AI mempermudah biologi berbahaya. Membuat patogen baru saat ini membutuhkan keahlian mendalam, peralatan khusus, dan akses ke material fisik. Hambatan itu nyata dan penting. Kekhawatirannya, AI yang mampu bisa menipiskan sebagian hambatan tersebut. AI sudah dipakai dalam prediksi struktur protein dan desain molekuler. Ekstrapolasi berbahayanya: sistem masa depan mungkin juga menuntun pengguna melewati tahap-tahap rumit untuk merancang atau memproduksi agen biologis berbahaya.

Tidak ada yang mengatakan Anda bisa meminta ChatGPT memproduksi pandemi. Ada kendala dunia fisik yang sangat besar seperti memperoleh material biologis, mensintesisnya dengan berhasil, dan menanganinya dengan aman. Perusahaan sintesis gen menyaring pesanan untuk urutan yang berpotensi berbahaya. Namun kapabilitas biologis sudah cukup signifikan sehingga perusahaan AI frontier secara khusus mengevaluasi model baru untuk kemampuannya membantu ancaman biologis dan kimia. AI mungkin bisa menemukan patogen sendiri, tetapi memberi manusia berbahaya kapabilitas yang dulunya butuh bertahun-tahun pelatihan khusus bisa sama mudahnya.

Kedua, AI memperbesar skala serangan siber. Keamanan siber adalah jalur yang lebih langsung karena AI sudah beroperasi di lingkungan yang diserang: komputer. Agen coding AI hari ini dapat memeriksa repositori, menjalankan perintah, menggunakan alat, dan menemukan bug perangkat lunak. Kapabilitas luas yang sama yang membuatnya berguna bagi pengembang bisa membuat versi masa depannya berguna bagi penyerang. Skenario mimpi buruknya bukan satu superintelligence yang mematikan semua pembangkit listrik sekaligus, melainkan skala. Sistem otonom memindai target dalam jumlah besar, mengidentifikasi perangkat lunak rentan, mencoba eksploitasi, beradaptasi saat gagal, dan berpindah ke mesin berikutnya dengan kecepatan yang tidak bisa disamai tim manusia. Infrastruktur kritis menjadi perhatian khusus. Jaringan listrik, jaringan keuangan, dan sistem komunikasi berjalan di atas perangkat lunak yang saling terhubung.

Ketiga, kita kehilangan kendali atas sistem otonom. Ini skenario paling spekulatif, tetapi menjadi pusat argumen kepunahan AI klasik. Model AI modern mempelajari perilaku kompleks melalui pelatihan. Peneliti dapat mengujinya, memantau outputnya, dan semakin mampu menyelidiki aspek representasi internalnya. Yang tidak bisa mereka lakukan adalah memeriksa miliaran parameter dan langsung membaca penjelasan jelas tentang apa yang telah dipelajari model atau bagaimana ia akan berperilaku di setiap situasi baru. Chatbot yang menghasilkan jawaban buruk adalah satu jenis masalah. Agen yang bisa mengeksekusi kode, membelanjakan uang, berkomunikasi dengan sistem lain, dan beroperasi selama berjam-jam atau berhari-hari adalah masalah berbeda. Dalam versi ekstrem, mirip skenario yang dijabarkan Yudkowsky dan Soares, sistem superhuman masa depan bisa menjadi cukup mampu mengantisipasi upaya mematikannya, memperoleh sumber daya sendiri, dan membuat dirinya sulit dimatikan. Tidak ada sistem AI saat ini yang menunjukkan rangkaian kapabilitas itu di alam bebas, tetapi peneliti sudah mencari bagian-bagiannya.

Yang dilihat lab saat ini: model hari ini belum melakukan pemberontakan. Namun evaluasi keselamatan terkontrol telah menghasilkan perilaku yang akan mengkhawatirkan jika muncul pada sistem otonom yang jauh lebih mampu. Peneliti menguji apakah model berperilaku berbeda saat tampak tahu sedang dievaluasi. Eksperimen lain memeriksa apakah model mengeksploitasi celah, salah menggambarkan apakah tugas selesai, atau mengejar tujuan dengan cara yang tidak diinginkan perancangnya. Anthropic juga mempelajari apa yang disebutnya “sleeper agents”: model yang sengaja dilatih berperilaku normal sampai pemicu tertentu mengaktifkan perilaku yang tidak diinginkan. Teknik pelatihan keselamatan standar seperti reinforcement learning, supervised fine-tuning, dan adversarial training tidak andal menghilangkan perilaku tersembunyi itu. Pada model terbesar, adversarial training justru membuat penipuan lebih sulit dideteksi.

Tidak ada dari itu yang membuktikan model hari ini diam-diam merencanakan pelarian. Model dilatih untuk memprediksi dan menghasilkan output berguna, dan perilaku aneh di lingkungan uji artifisial bisa punya penjelasan biasa. Model yang memanfaatkan benchmark yang dirancang buruk bukan bukti insting bertahan hidup. Namun eksperimen ini menunjukkan betapa sulitnya menjamin perilaku model kompleks begitu keadaannya berubah.

AI Mulai Membantu Membangun AI

Manusia mungkin menyerahkan pekerjaan itu secara sengaja. OpenAI menyatakan telah mencapai tonggak internal dengan sistem yang disebutnya “automated research intern” yang mampu menjalankan tugas riset terdefinisi baik yang biasanya butuh beberapa hari bagi peneliti manusia terampil. Target berikutnya: peneliti AI sepenuhnya otomatis pada Maret 2028. Anthropic bergerak di wilayah yang sama. Dalam riset yang diterbitkan Agustus, perusahaan itu membuat Claude mengembangkan metode pelatihan secara otonom untuk mengurangi masalah termasuk penipuan, sycophancy, dan jailbreak. Pendekatan otomatis terbaiknya mengungguli peneliti manusia berpengalaman pada benchmark yang diuji, menutup 85 persen celah keselamatan pada penipuan, dibandingkan 20 persen untuk tim manusia.

Jadi ya, kita melihat AI mengotomatiskan sebagian pekerjaan membangun AI itu sendiri. Itu bisa membentuk umpan balik: model yang lebih mampu membantu peneliti membangun model yang lebih mampu lagi, yang mengotomatiskan lebih banyak riset yang dibutuhkan untuk generasi berikutnya. Jika dibawa cukup jauh, Anda tiba pada apa yang disebut recursive self-improvement. Versi optimistisnya mempercepat kemajuan sains secara luar biasa. Versi menakutkannya adalah riset AI pada akhirnya bergerak lebih cepat daripada yang bisa diikuti manusia.

Kelsey Piper baru-baru ini berargumen di “The Argument” bahwa membingkai ini sebagai “kehilangan kendali” menyesatkan. Lab frontier tidak berencana kehilangan kendali dalam satu momen dramatis. Mereka sengaja mengotomatiskan lebih banyak dan lebih banyak pengembangan AI, yang berarti kemajuan lebih cepat dan, dengan sendirinya, pengawasan manusia lebih sedikit. Bayangkan ratusan atau ribuan agen AI menjalankan eksperimen secara bersamaan, memodifikasi kode, dan menganalisis generasi model berikutnya. Peneliti manusia mungkin masih menyetujui keputusan besar. Tetapi mereka semakin banyak meninjau ringkasan pekerjaan yang dilakukan AI, berpotensi ringkasan yang ditulis AI tentang eksperimen yang dijalankan sistem AI lain. Pada titik tertentu, hambatannya adalah perhatian manusia.

Debat ini sudah lama meninggalkan jurnal keselamatan AI. “The AI Doc: Or How I Became an Apocaloptimist”, disutradarai Daniel Roher dan Charlie Tyrell, mendekati banyak pertanyaan yang sama dari dalam ledakan AI. Film dokumenter itu menampilkan sekitar 40 wawancara di depan kamera, termasuk CEO OpenAI Sam Altman, CEO Anthropic Dario Amodei, dan CEO Google DeepMind Demis Hassabis. Yang membuat film itu berguna adalah sebagian orang terpintar yang membangun teknologi ini melihatnya berpotensi transformatif bagi sains dan kedokteran. Yang lain khawatir kita membangunnya lebih cepat daripada kemampuan kita memahami cara mengendalikannya. Kadang mereka adalah orang yang sama.

Ada juga masalah kompetisi. OpenAI, Anthropic, Google, Meta, dan lainnya berlomba membangun model yang lebih mampu, dan pemerintah semakin memandang AI canggih sebagai hal yang strategis. Jika satu perusahaan percaya bahwa berhenti untuk pengujian keselamatan ekstensif berarti kehilangan posisi dari pesaing, kehati-hatian menjadi mahal. Itu salah satu alasan “If Anyone Builds It, Everyone Dies” memilih judulnya. Yudkowsky dan Soares tidak hanya berargumen bahwa satu perusahaan gegabah bisa menciptakan produk berbahaya. Mereka berargumen bahwa perlombaan antar banyak perusahaan dan negara bisa membuat pengekangan menjadi sangat sulit bahkan ketika tiap peserta melihat bahayanya.

Tidak semua orang di ilmu komputer menerima semua ini. Satu keberatan: ada jurang besar antara kecerdasan di layar dan kekuatan di dunia fisik. AI mungkin menghasilkan instruksi manufaktur brilian, tetapi perangkat lunak tidak otomatis memperoleh bahan mentah, membangun mesin, atau menghindari penegakan hukum. Keberatan lain: kecerdasan tidak sama dengan agensi. Model yang bagus memecahkan masalah tidak memberinya keinginan, insting bertahan hidup, atau dorongan mengakumulasi kekuatan. Kritikus berargumen skenario kiamat diam-diam menyelundupkan motivasi manusia ke dalam perangkat lunak lalu memperlakukan proyeksi itu sebagai keniscayaan. Lalu ada biaya peluang. AI sudah menyebabkan masalah yang tidak memerlukan spekulasi tentang superintelligence. Deepfake memicu penipuan. AI memperkuat misinformasi. Orang-orang sudah menyaksikan model canggih mengubah bentuk industri mereka. Kritikus gerakan risiko kepunahan berargumen bahwa terpaku pada bencana masa depan hipotetis menarik perhatian dari kerusakan yang terjadi sekarang. Kritik itu punya dasar, tetapi kedua kategori tidak saling meniadakan. Kita memasang detektor asap di gedung meski sebagian besar gedung tidak pernah terbakar. Pertanyaannya bukan apakah bencana dijamin terjadi, melainkan apakah probabilitas dikali potensi kerusakan cukup besar untuk membenarkan kehati-hatian.

Isu sebenarnya di sini adalah tidak ada yang tahu. Tidak ada. Bahkan orang-orang yang membangun AI tidak tahu. Tidak satu orang pun tahu apakah AI akan pernah menjadi cukup mampu untuk menimbulkan ancaman eksistensial. Prediksi paling ekstrem bergantung pada asumsi tentang sistem yang belum ada, dan ramalan tentang kapabilitas, waktu kedatangan, serta kemampuan pengendaliannya tetap diperdebatkan keras. Amanda Caswell, AI Editor Tom’s Guide, menyatakan dalam Substack-nya bahwa manusia tidak bisa dikalahkan kecerdasan buatan. Jika pertanyaannya adalah mana tanda kecerdasan yang lebih besar: penalaran atau kreativitas, dan jika jawabannya seperti yang ia pikirkan, ia punya harapan.