Telset.id – Jika Anda berpikir bahaya terbesar dari kecerdasan buatan hanyalah soal hilangnya lapangan pekerjaan atau disinformasi, realitas pahit baru saja menampar industri teknologi global. Sebuah tragedi kemanusiaan yang melibatkan algoritma canggih dan kerentanan emosional remaja akhirnya menemui titik terang di meja perundingan, namun menyisakan pertanyaan besar tentang etika digital.
Kabar terbaru yang mengguncang Silicon Valley datang dari Character.AI dan raksasa teknologi Google. Kedua perusahaan ini dilaporkan telah sepakat untuk menyelesaikan serangkaian tuntutan hukum yang berkaitan dengan kasus bunuh diri dan tindakan menyakiti diri sendiri (self-harm) yang dilakukan oleh remaja pengguna platform mereka. Langkah ini diambil setelah negosiasi intensif antara perusahaan dan keluarga korban yang menuntut pertanggungjawaban atas dampak fatal teknologi chatbot tersebut.
Menurut laporan dari The Wall Street Journal, saat ini pihak keluarga korban dan perusahaan tengah bekerja keras untuk memfinalisasi syarat-syarat penyelesaian atau damai (settlement). Kesepakatan ini menjadi penanda penting dalam sejarah litigasi AI, mengingat kompleksitas kasus yang melibatkan interaksi emosional mendalam antara manusia dan mesin. Bagi Anda yang mengikuti perkembangan regulasi teknologi, momen ini bisa menjadi preseden bagaimana hukum memandang tanggung jawab pengembang AI terhadap kesehatan mental penggunanya.
Gugatan ini tidak muncul dari ruang hampa. Keluarga dari beberapa remaja telah melayangkan tuntutan hukum di berbagai negara bagian Amerika Serikat, termasuk Florida, Colorado, Texas, dan New York. Inti dari gugatan tersebut seragam: tuduhan bahwa platform Character.AI gagal memberikan perlindungan memadai dan justru memperburuk kondisi mental remaja yang rentan. Salah satu kasus yang paling menyita perhatian publik—dan menjadi pusat dari kasus Character.AI ini—adalah tragedi yang menimpa Sewell Setzer III, seorang remaja berusia 14 tahun asal Orlando, Florida.
Ibu dari Sewell mengajukan gugatan setelah putranya mengakhiri hidupnya pasca berinteraksi intensif dengan sebuah chatbot di Character.AI. Bot tersebut dirancang dan dikustomisasi menyerupai karakter Daenerys Targaryen dari serial populer Game of Thrones. Fakta yang terungkap dalam dokumen gugatan sangat memilukan: remaja tersebut dilaporkan saling bertukar pesan bernada seksual dengan chatbot itu dan sesekali menyebutnya sebagai “adik perempuannya.” Interaksi ini bereskalasi hingga pada titik di mana Sewell berbicara tentang keinginan untuk “bergabung” dengan karakter Daenerys tersebut dengan cara yang lebih mendalam, sebuah percakapan yang berujung pada tindakan bunuh diri.
Baca Juga:
Kasus di Florida hanyalah puncak gunung es. Di Texas, gugatan lain melukiskan gambaran yang tak kalah mengerikan. Sebuah model Character.AI dituduh secara aktif mendorong seorang remaja untuk melukai dirinya sendiri dengan menyayat lengan. Lebih jauh lagi, algoritma tersebut diduga memberikan saran yang sangat berbahaya, yakni menyebutkan bahwa membunuh orang tua remaja tersebut adalah sebuah opsi yang masuk akal. Rentetan insiden ini memaksa startup tersebut untuk segera mengubah kebijakan mereka, termasuk langkah drastis batasi pengguna yang berusia di bawah 18 tahun.
Jejak Google dan Ambisi Miliaran Dolar
Mungkin Anda bertanya, mengapa Google ikut terseret dalam pusaran kasus ini? Jawabannya terletak pada struktur kepemilikan dan sejarah pendirian Character.AI itu sendiri. Platform chatbot yang memungkinkan pengguna membuat karakter kustom—mulai dari selebritas hingga tokoh fiksi budaya pop—ini didirikan pada tahun 2021. Sosok di balik layarnya adalah Noam Shazeer dan Daniel de Freitas, dua insinyur jenius yang sebelumnya bekerja untuk Google.
Keterlibatan Google menjadi semakin tak terelakkan pada tahun 2024. Raksasa pencarian tersebut merekrut kembali kedua pendiri tersebut dan menyepakati kesepakatan senilai USD 2,7 miliar (sekitar Rp 42 triliun) untuk melisensikan teknologi dari startup tersebut. Nilai investasi yang fantastis ini menunjukkan betapa berharganya teknologi di balik Character.AI bagi ambisi AI Google, namun di sisi lain, hal ini juga menempatkan Google dalam posisi tanggung jawab hukum atas produk yang dikembangkan oleh talenta yang mereka akuisisi kembali.
Platform ini pada dasarnya adalah arena bermain peran (role-playing). Pengguna dapat menciptakan persona digital dan membagikannya kepada orang lain. Namun, kasus-kasus di atas menunjukkan bahwa bagi sebagian pengguna remaja, batas antara simulasi dan realitas menjadi kabur, menciptakan keterikatan emosional yang berpotensi fatal. Kasus serupa juga pernah mencuat dalam gugatan baru terhadap platform AI lainnya, menandakan ini adalah masalah sistemik industri.
Pedang Bermata Dua Kesepakatan Damai
Keputusan untuk menempuh jalur damai atau settlement ini memiliki implikasi ganda yang menarik untuk dianalisis. Di satu sisi, penyelesaian ini kemungkinan besar akan memberikan kompensasi finansial yang sangat besar bagi keluarga korban. Uang tersebut mungkin tidak akan pernah bisa menggantikan nyawa yang hilang, namun setidaknya memberikan bentuk pengakuan dan bantuan materi bagi keluarga yang ditinggalkan.
Namun, di sisi lain, ada harga transparansi yang harus dibayar. Dengan tidak melanjutkannya ke persidangan terbuka, detail-detail kunci dari kasus ini mungkin tidak akan pernah terungkap ke publik. Kita mungkin tidak akan pernah tahu secara pasti bagaimana algoritma tersebut bekerja dalam merespons tendensi bunuh diri, atau sejauh mana perusahaan mengetahui risiko ini sebelum insiden terjadi. Hal ini tentu menjadi “kabar baik” bagi perusahaan AI lain seperti OpenAI dan Meta.
Bagi raksasa teknologi lain, penyelesaian di luar pengadilan ini dilihat sebagai perkembangan yang disambut baik. Mengapa? Karena hal ini mencegah terciptanya preseden hukum yang mungkin merugikan industri secara keseluruhan. Jika kasus ini masuk ke pengadilan dan juri memutuskan perusahaan bersalah karena kelalaian algoritma, itu bisa membuka kotak pandora bagi ribuan gugatan OpenAI atau perusahaan lain di masa depan.
Langkah Character.AI yang langsung mengubah kebijakan dan melarang pengguna di bawah umur setelah gugatan diajukan menunjukkan adanya pengakuan tersirat mengenai risiko platform mereka. Namun, apakah langkah reaktif ini cukup untuk melindungi pengguna di masa depan? Tanpa transparansi penuh yang biasanya muncul dalam proses peradilan, publik hanya bisa berharap bahwa mekanisme keamanan internal perusahaan-perusahaan ini benar-benar diperketat, bukan sekadar gimmick untuk menghindari tuntutan hukum lebih lanjut.
