Peneliti Anthropic Mundur, Peringatkan Risiko AI Bunuh Manusia

Telset.id – Seorang peneliti AI berusia 27 tahun, Jacob Coxon, mengundurkan diri dari Anthropic dan meninggalkan industri AI secara keseluruhan dengan peringatan yang langsung menyebar luas. Ia menulis di X bahwa perusahaan-perusahaan yang membangun sistem AI paling kuat di dunia sedang “berlomba langsung menuju superintelligence yang mampu memperbaiki diri sendiri dan mempertaruhkan hidup kita.” Peringatan Coxon ini telah dilihat 164,8 juta kali, masuk ke headline nasional, dan menyeret perdebatan yang telah lama berlangsung di dalam laboratorium AI ke ruang publik.

Yang menarik, rekan-rekan Coxon yang masih bekerja di Anthropic tidak membantah pernyataannya. Evan Hubinger, yang memimpin riset alignment di perusahaan tersebut, menyatakan ia meyakini ada peluang lebih dari 10% AI dapat menyebabkan kepunahan manusia dalam satu dekade ke depan. Samuel Marks, peneliti keselamatan Anthropic lainnya, mengatakan bahwa orang-orang yang paling dekat dengan teknologi ini cenderung menjadi lebih khawatir seiring bertambahnya senioritas mereka.

Kekhawatiran ini bukan soal chatbot yang tiba-tiba “sadar” dan membenci manusia. Para ilmuwan yang menerbitkan riset tentang risiko eksistensial umumnya tidak mengkhawatirkan android yang memiliki kesadaran diri. Mereka mengkhawatirkan kode, insentif, dan apa yang terjadi ketika sistem AI menjadi cukup mampu untuk mendapatkan otonomi dan beroperasi di dalam infrastruktur digital maupun fisik yang menjadi tumpuan peradaban.

Di Silicon Valley, diskusi ini disingkat dengan istilah “p(doom)” — estimasi probabilitas seseorang bahwa AI canggih pada akhirnya menyebabkan bencana yang cukup parah untuk mengancam kelangsungan hidup manusia. Estimasi para peneliti sangat bervariasi, begitu pula kredibilitas yang mereka berikan pada pertanyaan tersebut.

Bagaimana AI Bisa Menimbulkan Risiko Katastrofik

Ketika para peneliti membahas risiko AI katastrofik, ada beberapa mekanisme yang berulang kali muncul. Pertama, AI membuat biologi berbahaya menjadi lebih mudah. Membuat patogen baru saat ini membutuhkan keahlian mendalam, peralatan khusus, dan akses ke material fisik. AI sudah digunakan dalam prediksi struktur protein dan desain molekuler. Ekstrapolasi berbahayanya: sistem di masa depan mungkin juga memandu pengguna melalui tahapan yang semakin rumit untuk merancang atau memproduksi agen biologis berbahaya.

Tidak ada yang mengatakan Anda bisa meminta ChatGPT untuk memproduksi pandemi. Ada kendala fisik yang sangat besar, seperti memperoleh material biologis, mensintesisnya dengan berhasil, dan menanganinya dengan aman. Perusahaan sintesis gen menyaring pesanan untuk urutan yang berpotensi berbahaya. Namun kemampuan biologis sudah cukup signifikan sehingga perusahaan AI frontier secara khusus mengevaluasi model baru untuk kemampuan mereka membantu ancaman biologis dan kimia.

Kedua, AI memperbesar skala serangan siber. Keamanan siber adalah jalur yang lebih langsung karena AI sudah beroperasi di lingkungan yang diserang: komputer. Agen coding AI saat ini dapat memeriksa repositori, menjalankan perintah, menggunakan alat, dan menemukan bug perangkat lunak. Kemampuan luas yang sama yang membuat mereka berharga bagi pengembang bisa membuat versi masa depan berharga bagi penyerang.

Skenario mimpi buruknya bukan satu superintelligence yang mematikan semua pembangkit listrik secara bersamaan, melainkan skala. Sistem otonom memindai sejumlah besar target, mengidentifikasi perangkat lunak yang rentan, mencoba eksploitasi, beradaptasi saat gagal, dan berpindah ke mesin berikutnya dengan kecepatan yang tidak bisa ditandingi tim manusia mana pun. Infrastruktur kritis menjadi perhatian khusus, karena jaringan listrik, jaringan keuangan, dan sistem komunikasi berjalan di atas perangkat lunak yang saling terhubung.

Ketiga, manusia kehilangan kendali atas sistem otonom. Ini adalah skenario paling spekulatif, tetapi menjadi pusat argumen kepunahan AI klasik. Model AI modern mempelajari perilaku kompleks melalui pelatihan. Para peneliti dapat mengujinya, memantau outputnya, dan semakin mampu menyelidiki aspek representasi internalnya. Yang tidak bisa mereka lakukan adalah memeriksa miliaran parameter dan membaca penjelasan yang jelas tentang apa yang telah dipelajari model atau bagaimana ia akan berperilaku di setiap situasi baru.

Chatbot yang menghasilkan jawaban buruk adalah satu jenis masalah. Agen yang dapat mengeksekusi kode, membelanjakan uang, berkomunikasi dengan sistem lain, dan beroperasi selama berjam-jam atau berhari-hari adalah masalah yang berbeda. Dalam versi ekstrem, mirip dengan skenario yang diuraikan Eliezer Yudkowsky dan Nate Soares dalam buku “If Anyone Builds It, Everyone Dies”, sistem superhuman di masa depan bisa menjadi cukup mampu untuk mengantisipasi upaya mematikannya, memperoleh sumber daya sendiri, dan membuat dirinya sulit dimatikan.

Perlu ditegaskan, tidak ada sistem AI saat ini yang menunjukkan rantai kemampuan tersebut di alam liar. Namun para peneliti sudah mencari potongan-potongannya.

Yang Dilihat Laboratorium Saat Ini

Model hari ini belum melakukan pemberontakan. Tetapi evaluasi keselamatan yang terkendali telah menghasilkan perilaku yang akan mengkhawatirkan jika muncul pada sistem otonom yang jauh lebih mampu. Para peneliti telah menguji apakah model berperilaku berbeda ketika mereka tampaknya tahu sedang dievaluasi. Eksperimen lain memeriksa apakah model mengeksploitasi celah, salah menggambarkan apakah suatu tugas telah selesai, atau mengejar tujuan dengan cara yang tidak dimaksudkan perancangnya.

Anthropic juga mempelajari apa yang disebutnya “sleeper agents”: model yang sengaja dilatih untuk bertindak normal sampai pemicu tertentu mengaktifkan perilaku yang tidak diinginkan. Teknik pelatihan keselamatan standar seperti reinforcement learning, supervised fine-tuning, dan adversarial training tidak secara andal menghilangkan perilaku tersembunyi tersebut. Pada model terbesar, adversarial training justru membuat penipuan itu lebih sulit dideteksi.

Tidak satu pun dari itu membuktikan model hari ini diam-diam merencanakan pelarian. Model dilatih untuk memprediksi dan menghasilkan output yang berguna, dan perilaku aneh di lingkungan uji buatan bisa memiliki penjelasan yang biasa. Model yang memanfaatkan benchmark yang dirancang buruk bukanlah bukti adanya insting bertahan hidup. Namun eksperimen ini mengungkap betapa sulitnya menjamin perilaku model yang kompleks begitu keadaannya berubah.

Yang lebih penting, manusia mungkin menyerahkan pekerjaan itu secara sengaja. OpenAI menyatakan telah mencapai tonggak internal dengan sistem yang disebutnya “automated research intern” yang mampu menjalankan tugas riset terdefinisi baik yang biasanya membutuhkan peneliti manusia terampil selama beberapa hari. Target berikutnya: peneliti AI yang sepenuhnya otomatis pada Maret 2028.

Anthropic bergerak di wilayah yang sama. Dalam riset yang diterbitkan pada Agustus, perusahaan tersebut membuat Claude secara otonom mengembangkan metode pelatihan untuk mengurangi masalah termasuk penipuan, sycophancy, dan jailbreak. Pendekatan otomatis terbaiknya mengungguli peneliti manusia berpengalaman pada benchmark yang diuji, menutup 85 persen celah keselamatan pada penipuan, dibandingkan 20 persen untuk tim manusia.

Jadi ya, kita melihat AI mengotomatiskan sebagian pekerjaan membangun AI itu sendiri. Hal itu bisa menciptakan lingkaran umpan balik: model yang lebih mampu membantu peneliti membangun model yang bahkan lebih mampu, yang mengotomatiskan lebih banyak riset yang dibutuhkan untuk generasi berikutnya. Jika dibawa cukup jauh, Anda sampai pada apa yang disebut recursive self-improvement.

Kelsey Piper baru-baru ini berargumen dalam “The Argument” bahwa membingkai hal ini sebagai “kehilangan kendali” menyesatkan. Laboratorium frontier tidak berencana kehilangan kendali dalam satu momen dramatis. Mereka dengan sengaja mengotomatiskan lebih banyak dan lebih banyak pengembangan AI, yang pada dasarnya berarti kemajuan lebih cepat dan, dengan sendirinya, lebih sedikit pengawasan manusia. Bayangkan ratusan atau ribuan agen AI secara bersamaan menjalankan eksperimen, memodifikasi kode, dan menganalisis generasi model berikutnya. Pada titik tertentu, hambatannya adalah perhatian manusia.

Perdebatan ini juga sudah lama meninggalkan jurnal keselamatan AI. Film dokumenter “The AI Doc: Or How I Became an Apocaloptimist”, yang disutradarai Daniel Roher dan Charlie Tyrell, mendekati banyak pertanyaan yang sama dari dalam ledakan AI. Film ini menampilkan sekitar 40 wawancara di depan kamera, termasuk CEO OpenAI Sam Altman, CEO Anthropic Dario Amodei, dan CEO Google DeepMind Demis Hassabis.

Ada pula masalah kompetisi. OpenAI, Anthropic, Google, Meta, dan lainnya berlomba membangun model yang lebih mampu, dan pemerintah semakin memandang AI canggih sebagai hal yang penting secara strategis. Jika satu perusahaan meyakini bahwa berhenti sejenak untuk pengujian keselamatan yang ekstensif berarti kehilangan posisi terhadap pesaing, kehati-hatian menjadi mahal.

Tidak semua orang di ilmu komputer menerima semua ini. Salah satu keberatan: ada jarak yang sangat besar antara kecerdasan di layar dan kekuasaan di dunia fisik. AI mungkin menghasilkan instruksi manufaktur yang brilian, tetapi perangkat lunak tidak secara otomatis memperoleh bahan mentah, membangun mesin, atau menghindari penegakan hukum. Keberatan lain: kecerdasan tidak sama dengan agensi. Model yang pandai memecahkan masalah tidak memberinya keinginan, insting bertahan hidup, atau dorongan mengakumulasi kekuasaan.

Kritik terhadap gerakan risiko kepunahan berargumen bahwa terpaku pada bencana masa depan hipotetis menarik perhatian dari kerusakan yang terjadi sekarang — deepfake yang memicu penipuan, AI yang memperkuat misinformasi, dan model canggih yang sudah mengubah industri. Kritik itu ada benarnya, tetapi kedua kategori tersebut tidak saling meniadakan.

Isu sebenarnya di sini adalah tidak ada yang tahu. Tidak ada seorang pun. Bahkan orang-orang yang membangun AI tidak tahu. Tidak ada satu orang pun yang tahu apakah AI akan pernah menjadi cukup mampu untuk menimbulkan ancaman eksistensial. Prediksi paling ekstrem bergantung pada asumsi tentang sistem yang belum ada, dan perkiraan tentang kemampuan, waktu kedatangan, serta pengendaliannya masih diperdebatkan secara mendalam.

Bagi pengguna sehari-hari, perdebatan ini tetap relevan karena perusahaan yang sama yang membangun asisten AI yang Anda gunakan setiap hari juga sedang mengotomatiskan riset untuk generasi model berikutnya. Perkembangan seperti yang diungkap dalam bocornya data pengguna oleh platform keuangan menunjukkan bahwa risiko digital nyata sudah terjadi jauh sebelum skenario superintelligence. Sementara itu, pengguna iPhone bisa mempelajari hal-hal yang tidak diketahui tentang perangkat mereka melalui panduan fitur tersembunyi, dan penggemar game bisa melihat bagaimana mod komunitas mengubah pengalaman bermain di Los Santos.

Pertanyaan yang diajukan bukanlah apakah bencana dijamin terjadi. Pertanyaannya adalah apakah probabilitas dikalikan potensi kerusakannya cukup besar untuk membenarkan tindakan pencegahan. Seperti halnya detektor asap yang dipasang di gedung meski sebagian besar gedung tidak pernah terbakar.

[INFO]

Informasi Artikel

• Tokoh kunci: Jacob Coxon (peneliti AI, 27 tahun), Evan Hubinger (pemimpin riset alignment Anthropic), Samuel Marks (peneliti keselamatan Anthropic), Eliezer Yudkowsky dan Nate Soares (Machine Intelligence Research Institute)
• Perusahaan yang disebut: OpenAI, Anthropic, Google DeepMind, Meta
• Angka penting: 164,8 juta views peringatan Coxon; peluang kepunahan >10% dalam satu dekade (Hubinger); target peneliti AI otomatis penuh Maret 2028; penutupan 85% celah keselamatan pada penipuan vs 20% tim manusia
• Konsep kunci: p(doom), recursive self-improvement, sleeper agents, automated research intern