Ancaman AI Slop: Konten Kekerasan Berkedok Buah di Feed Anak

Telset.id – Analisis terbaru dari Global Network on Extremism and Technology (GNET) mengungkap bahwa video AI slop bertema buah yang membanjiri media sosial berpotensi menjadi sarana penyebaran konten kekerasan dan ekstremisme secara terselubung. Temuan ini menjadi peringatan bagi orang tua dan pengguna media sosial, terutama karena konten tersebut dirancang dengan visual yang tampak tidak berbahaya namun menyimpan muatan berbahaya di dalamnya.

Penelitian GNET menyoroti fenomena yang mereka sebut sebagai “AI fruit/vegetable gore,” yaitu konten yang menampilkan buah dan sayuran dalam adegan penyiksaan, mutilasi, dan tindakan kekejaman ekstrem lainnya. Konten ini merupakan bagian dari gelombang besar “fruitslop” yang selama ini dianggap sebagai hiburan polos bagi anak-anak.

Radikalisasi Terselubung Lewat Konten Animasi

Para analis GNET menemukan bahwa banyak dari video fruitslop ini menampilkan karakter-karakter kekerasan yang dikaitkan dengan kelompok atau ideologi tertentu. Beberapa video bahkan menggambarkan karakter tersebut sebagai anggota kartel kriminal, kelompok sayap kanan, atau penganut nihilisme ekstrem. Temuan ini menunjukkan bahwa konten yang tampak seperti hiburan anak-anak sebenarnya bisa menjadi pintu masuk menuju paparan ideologi berbahaya.

“Konten AI berbasis kekerasan memperkuat ketertarikan pada kekerasan demi kekerasan itu sendiri, sehingga memungkinkan apa yang disebut ‘ode kekerasan’ online untuk semakin menguasai kaum muda di ruang digital,” tulis para analis dalam laporan tersebut. Mereka juga menambahkan bahwa jenis konten ini dapat “meletakkan dasar bagi konsumsi materi audiovisual berbasis kekerasan lebih lanjut, membuat pengguna muda jatuh ke dalam perangkap radikalisasi online dan konsumsi kekerasan audiovisual.”

Menariknya, tren ini berkembang di tengah maraknya adopsi teknologi kecerdasan buatan di berbagai sektor. Sementara industri teknologi berlomba mengembangkan model AI yang lebih canggih, termasuk model AI besar dengan triliunan parameter, sisi gelap dari teknologi ini justru muncul dalam bentuk konten yang merusak moral generasi muda.

Dampak pada Perkembangan Anak dan Literasi Media

Kekhawatiran utama dari temuan GNET ini adalah dampaknya terhadap anak-anak yang literasi medianya masih berkembang. Konten fruitslop diproduksi secara massal oleh bot farm dengan kecepatan industri, menyeret semua pengguna—terutama anak-anak—ke dalam mimpi buruk algoritma yang berulang. Konten semacam ini dapat dengan mudah dimanfaatkan untuk mengglorifikasi kekerasan, penipuan elektoral, rasisme, dan berbagai masalah sosial lainnya.

Para peneliti menekankan bahwa potensi tak terbatas inilah yang membuat konten gen-AI menjadi berbahaya, terlepas dari bentuk kebejatan spesifik yang ditampilkan. Kemampuan teknologi AI untuk menghasilkan variasi konten tanpa henti membuat platform media sosial kewalahan dalam memoderasi konten-konten berbahaya ini.

Meski demikian, perlu dicatat bahwa laporan GNET masih bersifat analisis permukaan. Penelitian akademis yang lebih mendalam masih diperlukan untuk membuktikan klaim bahwa AI benar-benar mendorong anak-anak menuju kekerasan. GNET sendiri merupakan bagian riset dari Global Internet Forum to Counter Terrorism, sebuah kelompok yang didanai dan dijalankan oleh perwakilan industri teknologi, yang juga pernah dikritik karena perannya dalam memajukan sensor digital.

Namun terlepas dari perdebatan tersebut, esensi masalahnya tetap sama: konten AI yang diproduksi massal ini memiliki kemampuan untuk mengglorifikasi berbagai bentuk kebejatan sosial, dan anak-anak adalah kelompok yang paling rentan terhadap dampaknya. Industri AI yang sedang berkembang pesat, termasuk pasar AI inference yang terus tumbuh, perlu memperhatikan aspek keamanan konten ini.

Para ahli juga menyoroti bahwa pengembangan chip AI khusus untuk training dan inference mungkin perlu mempertimbangkan aspek moderasi konten. Dengan semakin canggihnya teknologi AI, kemampuan untuk menghasilkan konten berbahaya juga akan semakin besar, sehingga diperlukan langkah-langkah preventif yang lebih serius dari semua pemangku kepentingan.