Apple dan Google Dituntut Hapus Aplikasi Deepfake Porno

Telset.id – San Francisco City Attorney David Chiu secara resmi mengirimkan surat peringatan hukum kepada Apple dan Google, menuntut kedua raksasa teknologi tersebut segera menghapus 13 aplikasi face-swapping dari toko aplikasi mereka. Aplikasi-aplikasi ini memungkinkan pengguna untuk membuat gambar telanjang nonkonsensual menggunakan kecerdasan buatan (AI).

Dalam surat yang dikirim pada Kamis waktu setempat, Chiu menegaskan bahwa Apple dan Google telah “membantu dan bersekongkol” dalam penjualan gambar deepfake eksplisit serta harus “memutus” hubungan bisnis dengan para pengembang aplikasi tersebut. “Menghasilkan gambar intim tanpa persetujuan adalah ilegal, berbahaya, dan sama sekali tidak dapat diterima,” ujar Chiu kepada WIRED.

Kantor jaksa kota San Francisco sebelumnya telah mengambil tindakan hukum terhadap 16 situs web deepfake populer. Kini, mereka menyoroti peran Apple dan Google yang disebut telah “menghasilkan jutaan dolar dalam bentuk biaya” dari aplikasi yang menawarkan layanan nudifikasi. “Perusahaan-perusahaan ini memiliki tanggung jawab untuk memastikan bahwa aplikasi di platform mereka tidak memfasilitasi pelecehan seksual,” tegas Chiu.

Surat hukum tersebut merujuk pada undang-undang California yang melarang layanan pendukung yang menciptakan pornografi deepfake. Aplikasi-aplikasi yang ditargetkan menggunakan pembayaran dalam aplikasi (in-app payments), di mana Apple dan Google mendapatkan potongan pendapatan. “Fakta bahwa beberapa perusahaan teknologi terbesar dan paling mapan di dunia memfasilitasi hal ini harus dihentikan,” tambah Chiu.

Peneliti telah berulang kali menemukan dan melaporkan aplikasi di App Store milik Apple dan Play Store milik Google yang memungkinkan orang menghasilkan gambar seksual menggunakan AI. Beberapa di antaranya bahkan mendapat peringkat yang cocok untuk digunakan oleh anak-anak. Meskipun undang-undang dan larangan baru bertujuan untuk mengatasi masalah deepfake eksplisit, perusahaan teknologi dan media sosial secara konsisten mengarahkan jutaan orang menuju teknologi berbahaya ini.

Baik Apple maupun Google memiliki kebijakan pengembang yang melarang pornografi, pelecehan, dan perundungan di platform mereka. Sebelumnya, mereka telah menghapus puluhan aplikasi nudify dan deepfake setelah laporan dari peneliti dan jurnalis.

Google, melalui juru bicara Dan Jackson, menyatakan bahwa perusahaannya telah menghapus “ratusan” aplikasi dengan fitur nudifikasi karena melanggar kebijakan. Ini termasuk lima aplikasi Android yang ditandai oleh kantor Chiu. “Google Play tidak mengizinkan aplikasi yang mengandung konten seksual, dan kami terus mengambil langkah proaktif untuk mendeteksi dan menghapus aplikasi dengan konten berbahaya,” kata Jackson dalam sebuah pernyataan. “Ketika pelanggaran dilaporkan kepada kami, kami menyelidiki dan mengambil tindakan cepat, yang dalam kasus aplikasi ini termasuk menangguhkan ratusan aplikasi yang melanggar dan membatasi istilah pencarian terkait seperti ‘nudify’ di toko kami.”

Apple tidak memberikan komentar sebelum publikasi artikel ini.

Lonjakan Industri Deepfake Berbahaya

Selama lima tahun terakhir, teknologi deepfake “nudifikasi” yang sangat menguntungkan telah muncul secara online. Hal ini paling transparan terlihat ketika Grok milik xAI digunakan untuk membuat jutaan gambar seksual pada Januari lalu. Berbagai aplikasi, situs web, dan bot memungkinkan orang (kebanyakan pria) untuk mengunggah foto orang lain (mayoritas perempuan dan anak perempuan) dan secara digital “melepas” pakaian atau menempatkan mereka ke dalam skenario seksual grafis.

Seringkali, yang diperlukan untuk membuat deepfake seksual hanyalah foto referensi dan beberapa klik. Beberapa hasil bahkan tersedia dalam hitungan detik. Gambar dan video menjadi semakin realistis seiring dengan peningkatan teknologi AI generatif yang mendasarinya. Layanan-layanan ini ada yang memberikan hasil gratis atau mengenakan biaya kecil untuk membuat konten berbahaya tersebut.

Pelaporan sebelumnya oleh WIRED dan Indicator Media telah mengungkap insiden di setidaknya 90 sekolah di mana gambar pelecehan seksual deepfake dibuat dari anak di bawah umur. “Gambar-gambar ini digunakan untuk menindas, mempermalukan, dan mengancam perempuan dan anak perempuan,” kata Chiu. “Industri ini memiliki dampak yang mengerikan pada reputasi seseorang, kesehatan mental, dan hilangnya otonomi. Ada korban yang menjadi bunuh diri.”

Ke-13 aplikasi yang diselidiki oleh Kantor Jaksa Kota—delapan di App Store dan lima di Play Store—secara umum mengiklankan diri mereka sebagai alat “face-swapping”. Kemampuan untuk membuat deepfake seksual baru tersedia setelah orang menggunakannya. Situs web salah satu aplikasi, yang memiliki lebih dari 1 juta unduhan, menampilkan lebih dari selusin gaya gambar AI yang akan dihasilkan, termasuk “bikini queen curvy,” “calm busty,” dan “cinematic intimacy.” Banyak dari gaya tersebut menampilkan gambar perempuan yang seksual bersamaan dengan deskripsinya. Halaman beranda aplikasi lain yang ditargetkan mengklaim menghasilkan video “gratis dan tanpa sensor.” WIRED sengaja tidak menyebutkan nama aplikasi untuk menghindari mendorong orang menggunakannya.

Masalah Berulang di App Store dan Play Store

Masalah ini bukanlah hal baru bagi Apple dan Google. Sepanjang tahun lalu, banyak laporan telah mengidentifikasi aplikasi di platform kedua perusahaan yang memungkinkan orang membuat gambar atau video telanjang nonkonsensual. Pada Januari dan April tahun ini, Tech Transparency Project (TTP), sebuah kelompok pengawas independen, menemukan sekitar 100 aplikasi di App Store dan Play Store, serta beberapa iklan untuk teknologi nudifikasi di platform tersebut. (Google mengklaim telah menghapus sebagian besar aplikasi yang diidentifikasi oleh TTP.)

Aplikasi yang diidentifikasi oleh penelitian diperkirakan telah diunduh secara kolektif sekitar 480 juta kali dan mungkin telah menghasilkan pendapatan gabungan sekitar $120 juta. “Kami tidak menyangka setelah laporan pertama bahwa kami akan melihat ini sebagai masalah lagi—dan itu sama buruknya, jika tidak lebih buruk, setelah laporan kedua,” kata Katie Paul, direktur TTP. “Apple dan Google membuat banyak janji dalam pemasaran mereka tentang seberapa tepercaya dan amannya toko aplikasi mereka. Dan itu tidak sesuai dengan kenyataan.”

Sementara itu, dalam makalah penelitian pracetak yang diterbitkan pada bulan Mei, para peneliti dari Cornell University dan Georgetown University mengidentifikasi 420 aplikasi yang menawarkan kemampuan face-swapping umum di toko aplikasi Google dan Apple. Mereka menguji 155 aplikasi untuk melihat apakah aplikasi tersebut dapat digunakan untuk membuat face swap dengan gambar telanjang; dalam 70 persen kasus, hal itu mungkin dilakukan, dengan aplikasi tidak menyertakan langkah-langkah keselamatan untuk mencegahnya. “Tidak satu pun dari aplikasi ini diiklankan sebagai aplikasi nudifikasi,” kata penelitian tersebut. “Ini menunjukkan bahwa aplikasi face swap, dan banyak bentuk aplikasi pembuatan dan pengeditan gambar AI lainnya, secara efektif bersifat ‘dual-use’: aplikasi yang menghindari moderasi konten oleh platform karena tampak tidak berbahaya, tetapi memiliki kemampuan untuk membuat konten berbahaya.”

Chiu menegaskan kantornya akan terus mengejar masalah ini setelah merasa “sangat ngeri” dengan dampak dan skala teknologi ini. “Harapan saya adalah Apple dan Google akan segera menghapus aplikasi-aplikasi ini dan memperkuat sistem penyaringan mereka untuk memastikan bahwa aplikasi seperti ini tidak pernah masuk ke platform mereka di masa depan,” katanya. “Kami berharap perusahaan-perusahaan ini akan melakukan hal yang benar—tetapi jika tidak, kami harus mempertimbangkan semua opsi hukum kami.”

Langkah hukum ini menjadi babak baru dalam upaya memberantas konten deepfake berbahaya. Sebelumnya, Waymo digugat atas kecelakaan yang melukai pesepeda di San Francisco, menunjukkan pengawasan ketat terhadap perusahaan teknologi di kota tersebut. Sementara itu, kantor Twitter X di San Francisco juga menghadapi ketidakpastian dengan rencana penutupan.