Helen Toner: Risiko AI dan Kegagalan Pengawasan OpenAI

Telset.id – Mantan anggota dewan OpenAI, Helen Toner, menilai mekanisme pengawasan yang seharusnya menjaga misi keselamatan AI di OpenAI justru gagal bekerja saat dewan mencoba menjalankannya. Dalam wawancara Decoder bersama The Verge, Toner mengungkap bahwa dewan nirlaba OpenAI dibentuk khusus untuk memastikan perusahaan tidak mengkhianati misinya membangun AI yang aman dengan mengutamakan keuntungan dan pertumbuhan di atas keselamatan. Ketika dewan benar-benar mencoba menarik tuas kendali tersebut, mekanisme akuntabilitas itu runtuh.

Kegagalan itu memuncak dalam peristiwa yang kini dikenal sebagai “the blip,” ketika Toner menjadi salah satu dari empat anggota dewan yang memilih memecat Sam Altman. Insiden tersebut berakhir dengan Altman kembali sebagai CEO, Toner mengundurkan diri, dan terbentuknya dewan direksi baru. OpenAI pun sejak itu merestrukturisasi diri secara menyeluruh. Bagi Toner, persoalan intinya bukan sekadar siapa yang duduk di kursi kekuasaan, melainkan bahwa mekanisme pengawasan yang dirancang untuk menahan laju komersialisasi ternyata tidak berfungsi saat diuji.

Kini Toner menjabat sebagai executive director Center for Security and Emerging Technology (CSET) di Georgetown University. Ia memimpin sekitar 50 orang yang sejak 2019 menghasilkan analisis bagi para pembuat kebijakan di Washington. CSET, menurut Toner, bukan akademisi murni, melainkan tim yang berfokus pada analisis yang “rigorous” sekaligus “actionable” bagi pejabat yang tidak punya waktu atau keahlian mendalami teknologi baru. AI sudah masuk daftar teratas mereka sejak 2019.

Pandangan Toner bahwa keselamatan AI tak bisa bergantung pada satu individu menjadi relevan ketika ia ditanya soal kepercayaan terhadap para CEO laboratorium AI. Ia menegaskan, jika harapan masa depan bergantung pada satu orang yang bisa dipercaya, maka situasinya sudah sangat buruk. Karena itulah ia menekankan perlunya struktur berbeda dan keterlibatan lebih banyak orang dengan lebih banyak perspektif yang terwakili.

Ambisi Recursive Self-Improvement di Balik Produk AI

Toner menyoroti kesenjangan besar antara cara publik memandang AI dan cara industri memandangnya. Publik mengenal OpenAI dan Anthropic sebagai perusahaan konsumen lewat aplikasi ChatGPT atau Claude. Padahal, menurut Toner, visi yang mendalam di hati sebagian tokoh puncak kedua perusahaan itu adalah membangun mesin yang sama cerdas atau lebih cerdas dari manusia. Visi itu sudah ada sejak OpenAI didirikan pada 2015 dan Anthropic pada 2021.

Tahap yang kini mereka tuju adalah recursive self-improvement (RSI). Gagasan ini sebenarnya sudah tua, merujuk pada I. J. Good yang bekerja bersama Alan Turing pada 1960-an. Good membayangkan mesin ultra-cerdas yang mampu membangun mesin yang lebih cerdas lagi, memicu apa yang disebutnya ledakan kecerdasan. Selama puluhan tahun itu hanya teori. Menurut Toner, pada 2025 dan 2026 perusahaan AI mulai menyatakan bahwa mereka mampu melakukan versi minimal dari gagasan tersebut dalam praktik.

Toner menegaskan ini bukan berarti menyerahkan seluruh pengembangan AI kepada AI, apalagi menyuruh GPT-6 memperbaiki dirinya sendiri. Yang terjadi adalah perusahaan progressively menggunakan AI untuk lebih banyak bagian dari pipeline riset dan pengembangan mereka, dan mengklaim melihat percepatan dari situ. Banyak pihak di luar perusahaan meragukannya, tetapi banyak orang di dalam perusahaan benar-benar meyakininya. Ketika Demis Hassabis menyebut “we’re in the foothills of the singularity,” itulah yang ia maksud.

Karena itu Toner menilai konsep AGI kini tak lagi membantu sebagai tonggak pencapaian. Ia menyebut AGI sebagai “fuzzy cloud” yang isinya berbeda-beda bagi setiap orang. Sebagian definisi AGI bahkan sudah terlampaui, misalnya ketika ChatGPT hadir sebagai model yang tidak lagi spesialis. Namun definisi lain, seperti AI yang sadar dan mampu melakukan segala hal yang bisa dilakukan manusia, masih jauh. Jika perdebatannya hanya soal apakah Astra atau o3 sudah AGI, menurut Toner, lebih baik istilah itu dikesampingkan dan diganti dengan hal yang lebih spesifik.

Soal kesadaran model, Toner memilih jawaban jujur: ia tidak tahu. Ia menilai itu masalah ilmiah yang belum terpecahkan, bahkan sebelum sepakat soal apa yang dimaksud dengan kesadaran. Ia menyebut salah dalam kedua arah sama-sama berbahaya, baik memperlakukan komputer sebagai sadar padahal bukan, maupun mengabaikan kemungkinan sebaliknya. Ia juga menyoroti kesalahan umum yang mencampuradukkan dua hal berbeda, yakni sistem AI yang berbahaya karena sentien dan sistem AI yang berisiko merusak infrastruktur penting.

Alignment, Kontrol, dan Tekanan Komersial

Toner tidak yakin alignment sebagaimana dipraktikkan hari ini benar-benar menyelesaikan masalah keselamatan. Ia menyebut istilah alignment mencakup hal-hal yang sangat berbeda: guardrail perusahaan yang berfungsi, model yang menuruti keinginan pengguna, hingga model yang secara moral baik. Definisi paling koheren menurutnya adalah membuat AI melakukan apa yang diinginkan pengguna, dan itu belum berada di jalur terselesaikan.

Ia membedakan dua sisi masalah, yakni alignment dan control. Alignment berarti membuat model berusaha melakukan apa yang kita inginkan, sedangkan control berarti kemampuan menangkap dan menghentikan model jika ia melakukan hal yang tidak diinginkan. Di kedua sisi itu, menurut Toner, ada tumpukan pekerjaan yang menunggu, mulai dari riset interpretability hingga pengujian perilaku model dalam berbagai situasi. Persoalannya, ilmu pengetahuan butuh waktu karena harus diuji, dikritik, dan direproduksi.

Toner menyoroti kekhawatiran soal generalization, yakni kemampuan model yang dilatih pada satu hal untuk berlaku pada hal lain yang lebih luas. Ia menyebut pemahaman atas cara kerja generalisasi itu masih sangat buruk. Ketika orang-orang yang membangun sistem menyatakan masalah ini harus diselesaikan dalam 12 sampai 24 bulan, Toner menilai itu menakutkan dan berharap mereka salah. Namun ia mengakui ada orang-orang sangat cerdas dan bijak yang sungguh percaya laju itu bisa secepat itu.

Pandangan Toner soal perlambatan AI berubah seiring waktu. Saat surat moratorium enam bulan beredar ketika GPT-4 rilis, ia ragu manfaatnya. Kini, ketika berbicara dengan para pembangun teknologi, ia mendengar betapa banyak hal yang bisa dikerjakan dalam enam bulan jika mereka tidak terus-menerus bersiap merilis model baru. Ia tidak menyimpulkan kebijakan yang tepat adalah jeda enam bulan, tetapi ia mendukung gagasan menetapkan standar lebih tinggi soal seberapa yakin kita pada keselamatan sistem sebelum melanjutkan, baik merilis maupun melatih model baru.

Ia juga menyoroti bagaimana tekanan komersial membentuk arah perusahaan. Menurut Toner, OpenAI dan Anthropic awalnya adalah laboratorium riset yang menjual akses API untuk mendanai riset, dan kesuksesan konsumen ChatGPT terjadi nyaris sebagai kecelakaan. Namun jalur tech tree yang mereka tempuh menuntut modal sangat besar sekaligus mampu menghasilkan pendapatan besar karena teknologinya berguna jauh sebelum mencapai tahap machine god. Ini sejalan dengan laporan bahwa pendapatan OpenAI melesat meski margin masih negatif.

Soal rencana Anthropic melantai di bursa, Toner melihatnya sebagai hal yang menarik untuk dicermati. Ia menilai anggapan bahwa go public pasti memperburuk tata kelola belum tentu benar, karena perusahaan publik tunduk pada struktur tata kelola lebih ketat dan pengawasan eksternal lebih besar. Bahkan gagasan komite independen dewan yang diatur dalam kesepakatan sukarela pemerintahan Trump, yang ia sebut “Super Intelligence,” dinilai lebih punya gigi jika diterapkan pada perusahaan publik. Perkembangan ini beririsan dengan dinamika bisnis yang juga tampak pada langkah seperti ChatGPT Wallet.

Di sisi lain, Toner menyoroti bahwa laboratorium AI memiliki lengan lobi yang menurutnya sangat tidak “AGI-pilled.” Ia menggambarkan perbedaan mencolok antara retorika para eksekutif dan peneliti puncak dengan sikap tim kebijakan pemerintah mereka di balik pintu tertutup, yang lebih berpikir seperti penjual B2B SaaS. Hal ini, bagi Toner, menunjukkan bahwa narasi ambisi AGI dan praktik komersial di lapangan tidak selalu sejalan.

Isu China menjadi dimensi lain yang ia bahas. Toner menolak menjadikan “But China!” sebagai alasan serba bisa untuk menghindari pengaturan. Ia menilai itu masalah nyata yang harus dihadapi secara strategis, termasuk soal distilasi model AS oleh pihak China dan keamanan yang lemah di banyak perusahaan AI. Ia menyebut OpenAI dan Anthropic beberapa bulan terakhir mengalami pembobolan oleh tim eksternal ke ruang yang menyimpan banyak rahasia algoritmik. Persoalan ini menyentuh pula isu tata kelola dan tanggung jawab hukum, seperti terlihat dalam gugatan terhadap model AI.

Meski begitu, Toner melihat tanda awal konvergensi antara AS dan China soal ancaman kehilangan kendali atas AI. Ia mengibaratkan AI bukan sekadar senjata nuklir, melainkan senjata nuklir dengan pengaturan kontrol yang rusak, yang bisa saja menyala dan menghantam kota sendiri. Jika ancaman itu nyata, menurutnya China pun punya kepentingan yang sama. Namun ia tidak optimistis kedua negara akan segera duduk bernegosiasi, karena tingkat kepercayaan keduanya sangat rendah. Ia hanya melihat ada ruang jika persepsi ancaman bersama cukup kuat.

Sebagai penutup, Toner menyoroti sinyal yang perlu dicermati di tingkat legislatif. Ia menyebut Kongres secara umum sangat buruk dalam meloloskan undang-undang, sehingga kemampuan Kongres meloloskan apa pun akan menjadi tanda penting. Ia juga menyoroti koordinasi di tingkat negara bagian, di mana California meloloskan satu RUU lalu New York dan Illinois menyusul dengan versi hampir sama. Toner justru khawatir Kongres yang baru akan melangkah terlalu jauh dengan regulasi AI menyeluruh, dan menilai yang dibutuhkan saat ini adalah fokus pada sistem frontier, transparansi, serta standar pengelolaan risiko yang lebih jelas.