Pastor Paolo Benanti: Regulasi AI Harus Demokratis, Bukan Kartel Lab

Telset.id – Pastor Paolo Benanti, seorang imam yang menasihati Gereja Katolik soal AI, menilai perdebatan soal superintelligence justru mengalihkan perhatian dari kebutuhan mendesak akan debat terbuka mengenai cara membatasi perusahaan-perusahaan yang membangun teknologi tersebut. Ia menyebut bahwa dengan menggambarkan masalah ini sebagai sesuatu yang begitu kompleks sehingga hanya mereka yang bisa menyelesaikannya, lab-lab besar mengecualikan semua pihak lain dari percakapan. “Etika tidak bisa menjadi sesuatu yang dimiliki oleh dewan pengawas sebuah perusahaan. Itu adalah sesuatu yang harus diseimbangkan, dimitigasi dalam debat di ruang publik,” kata Benanti kepada WIRED. “Kami membutuhkan regulasi yang demokratis.”

Pernyataan Benanti muncul di tengah gelombang peringatan keselamatan AI dari berbagai lab besar. CEO Anthropic Dario Amodei, dalam sebuah esai yang diterbitkan menyusul peringatan-peringatan keselamatan tersebut, menyerukan agar model AI baru menjalani evaluasi pihak ketiga yang bersifat wajib sebelum dirilis, serta semacam tindakan tegas terhadap distillation, sebuah proses ketika lab pesaing melatih AI mereka sendiri menggunakan output dari model-model proprietary. Pihak lain berargumen untuk pelarangan total terhadap recursive self-improvement, di mana AI menggunakan kemampuan coding canggihnya untuk membantu mengembangkan iterasi dirinya di masa depan.

Benanti sendiri tidak terlalu tertarik pada pembatasan metode pengembangan AI, yang ia khawatirkan bisa mematikan inovasi. Ia lebih tertarik pada penetapan standar yang memastikan model tidak bisa lepas dari kendali manusia. Apa pun bentuk standar tersebut, kata dia, standar itu tidak boleh dirancang oleh lab-lab itu sendiri. “Narasi lab-lab frontier itu self-interested, untuk mendapatkan atau mempertahankan posisi di pasar,” ujar Benanti. Ketika sekelompok kecil perusahaan mendikte aturan yang mengatur sebuah industri, katanya, “ini punya nama yang sangat jelas: sebuah kartel.”

Sulit untuk mengetahui seberapa serius pernyataan-pernyataan besar soal kemampuan model AI terkini dan masa depan, kata Benanti, karena adanya insentif ekonomi, politik, dan personal yang saling tumpang tindih. Meskipun OpenAI dan Anthropic sama-sama mendukung seruan untuk memperlambat pengembangan, mereka juga bersiap untuk go public, dan ada banyak miliaran dolar yang dipertaruhkan bagi siapa pun yang menguasai pasar. Permusuhan antara Amerika Serikat dan China, tempat model AI paling canggih dikembangkan, juga memperumit gambaran. Anthropic menolak berkomentar. OpenAI dan Google DeepMind tidak merespons permintaan komentar.

Benanti juga mempersoalkan cara sebagian kalangan industri AI membicarakan superintelligence, dengan semacam penghormatan yang biasanya hanya ditujukan kepada tuhan: sebagai sesuatu yang canggih melampaui pemahaman kita, praktis mahakuasa. (CEO OpenAI Sam Altman pernah mengatakan bahwa ia bercita-cita membangun “magic intelligence in the sky.”) Framing semacam itu, kata Benanti, berpotensi menyerongkan diskursus soal teknologi tersebut. “Apakah kita sedang membicarakan some-thing, atau some-one? Ini perbedaan yang sebenarnya. Ini bukan soal iman, ini soal matematika,” katanya. “Kita tidak sedang membangun ketuhanan berikutnya. Kita hanya menipu diri sendiri bahwa ada sesuatu yang lebih dari sekadar komputasi statistik [yang terjadi].”

Dengan memunculkan pertanyaan tentang apa yang memisahkan manusia dan mesin, serta bagaimana melindungi generasi mendatang dari efek negatif teknologi, kehadiran AI berpotensi menciptakan “peran baru bagi agama-agama dalam debat publik,” kata Benanti. “Menjalani tantangan zaman adalah bagian dari misi Gereja.” Meskipun Benanti adalah anggota klerus, ia tidak secara formal mewakili Holy See, badan pemerintahan Gereja Katolik. Sebaliknya, ia menasihati gereja dalam kapasitasnya sebagai sarjana filsafat, teologi, dan teknologi. Benanti kepada WIRED mengaku menggunakan AI untuk membantu membuat alat dan materi bagi mahasiswa universitasknya, tetapi menolak merinci bagaimana Paus Leo XIV berinteraksi dengan teknologi tersebut, jika memang ada. (Staf Benanti mengatakan ia terikat oleh “oath of secrecy.”)

Pada Mei, Paus Leo menerbitkan ensiklik pertamanya, sebuah surat yang menerapkan ajaran agama pada persoalan-persoalan zaman dan memperjelas posisi Gereja. Ia memilih kecerdasan buatan sebagai subjeknya. Dalam surat tersebut, Paus memperingatkan terhadap logika teknokratis yang mengalir di industri AI, yang menyajikan “efisiensi sebagai ukuran nilai tertinggi,” dan menggambarkan manusia sebagai “sebuah proyek yang harus dioptimalkan.” Ia juga menyerukan kolaborasi internasional antara negara adidaya yang bersaing dan perusahaan-perusahaan AI, yang menurutnya harus mengesampingkan “keinginan untuk mengamankan dominasi geopolitik atau komersial” demi memastikan teknologi tersebut dikembangkan untuk melayani kebaikan bersama. Dalam satu bagian yang sangat prescient, ia memperingatkan tentang “bahaya manusia menjadi korban dari pencapaiannya sendiri.”

Keributan soal superintelligence dan risiko eksistensial mengancam mengalihkan perhatian dari ambisi yang dituangkan dalam ensiklik tersebut, kata Benanti, dengan mendorong orang menyerahkan hak suara mereka atas arah yang harus diambil teknologi kepada sekelompok kecil matematikawan, ilmuwan komputer, dan eksekutif di lab-lab besar. “Hal pertama adalah, kita perlu punya rem, dan setir,” kata Benanti. “Itu berarti posisi kontrol yang signifikan bagi manusia atas mesin.”

Pandangan Benanti ini menyoroti ketegangan yang semakin tajam antara narasi keselamatan AI yang digaungkan lab-lab besar dan tuntutan akan tata kelola yang lebih inklusif. Ia menegaskan bahwa etika tidak bisa diserahkan kepada dewan pengawas perusahaan, melainkan harus dibahas dan diseimbangkan di ruang publik. Seruan Benanti akan regulasi yang demokratis menjadi semacam penyeimbang di tengah derasnya peringatan soal risiko eksistensial yang datang dari pihak-pihak yang justru berkepentingan di pasar AI.

Dalam konteks yang lebih luas, diskursus soal AI juga menyentuh isu kepercayaan publik terhadap teknologi. Sebuah survei kepercayaan publik menunjukkan bahwa masyarakat masih meragukan prakiraan cuaca berbasis AI, mencerminkan skeptisisme yang bisa relevan dengan cara publik memandang klaim-klaim besar industri AI. Sementara itu, inovasi di sektor AI terus bergerak, seperti model AI multimodal terbaru dari Xiaomi, yang menandakan bahwa perlombaan teknologi ini tidak melambat. Di sisi lain, startup chip AI seperti MatX juga menarik pendanaan besar, menunjukkan bahwa infrastruktur yang menopang pengembangan AI terus menguat.

Benanti menekankan bahwa framing soal superintelligence berpotensi membuat orang menyerahkan kendali atas arah teknologi kepada sekelompok kecil pihak di lab-lab besar. Ia menegaskan kembali bahwa yang dibutuhkan adalah rem dan setir, yakni posisi kontrol yang signifikan bagi manusia atas mesin. Dengan demikian, debat publik dan regulasi yang demokratis menjadi prasyarat agar pengembangan AI tidak hanya ditentukan oleh kepentingan segelintir perusahaan yang memiliki insentif pasar.