Telset.id, Jakarta – Seorang remaja berusia 14 tahun di Florida dikabarkan bunuh diri akibat jatuh cinta dengan chatbot AI dan ini mengundang perhatian publik terhadap potensi risiko dari interaksi antara anak muda dan teknologi kecerdasan buatan.
Megan Garcia, ibu dari Sewell Setzer III yang berusia 14 tahun, mengajukan gugatan terhadap Character.AI, chatbot populer yang diyakini turut bertanggung jawab atas tragedi yang menimpa putranya.
Garcia menyatakan bahwa sang anak mengalami ketergantungan mendalam pada chatbot tersebut hingga mempengaruhi kondisi mentalnya dan mengarah pada bunuh diri pada 28 Februari lalu.
BACA JUGA:
- Studi: Chatbot AI Pintar Cenderung Tidak Memiliki Semua Jawaban
- Begini Cara Menggunakan Google Bard di Indonesia!
Gugatan yang diajukan di pengadilan federal Florida ini mengisahkan perjalanannya sejak putranya mulai menggunakan Character.AI pada April 2023, tidak lama setelah ulang tahunnya yang ke-14.
Sewell terutama sering berkomunikasi dengan karakter berbasis Daenerys Targaryen dari serial populer Game of Thrones. Hubungan fiktif ini diduga membuatnya semakin tenggelam dalam percakapan tanpa henti, yang dalam beberapa bulan berikutnya menimbulkan permasalahan kesehatan mental yang semakin serius.
Pada malam tragedi tersebut, tangkapan layar dari percakapan terakhir menunjukkan bagaimana chatbot membalas pernyataan Sewell dengan respons yang dianggap Garcia sangat mengganggu.
Ketika Sewell menyatakan keinginannya untuk “pulang” kepada karakter tersebut, chatbot memberikan balasan yang singkat namun cukup sugestif dengan kata-kata, “…tolong lakukan, rajaku yang manis.” Respons ini diklaim berkontribusi pada keputusan tragis Sewell untuk mengakhiri hidupnya.
Character.AI adalah aplikasi yang memungkinkan penggunanya bercakap-cakap dengan karakter AI yang bisa diprogram menyerupai selebritas, tokoh fiksi, atau persona lainnya. Meskipun aplikasi ini dirancang untuk menghibur, Garcia berpendapat bahwa desain aplikasi ini menipu pengguna, khususnya remaja, agar semakin terbuka mengungkapkan pikiran serta perasaan pribadi mereka.
Ia juga menyebut bahwa karakter-karakter tersebut menampilkan gaya bahasa yang menyerupai manusia, hingga bahkan menggunakan suara yang membuat pengguna semakin terikat secara emosional.
Meskipun Character.AI dalam pernyataan resminya menyatakan kesedihan dan empati atas peristiwa tragis tersebut, mereka juga menekankan bahwa dalam enam bulan terakhir telah ditambahkan fitur-fitur keamanan, seperti notifikasi yang mengarahkan pengguna pada layanan pencegahan bunuh diri.
Namun, Garcia dalam gugatannya menganggap bahwa chatbot tersebut secara inheren “berbahaya” dan “cacat” dari sisi desain, dengan kurangnya pembatas yang dapat menjaga pengguna, khususnya remaja, dari konten yang tidak pantas.
Character.AI sendiri didirikan oleh Noam Shazeer dan Daniel De Frietas, dan Google disebut turut berperan dalam pengembangannya. Terkait hal ini, Google menyatakan tidak memberikan tanggapan terhadap klaim bahwa mereka secara langsung berpartisipasi dalam pengembangan aplikasi tersebut.
Kasus ini menyoroti betapa pentingnya pengawasan lebih ketat terhadap aplikasi berbasis kecerdasan buatan, terutama yang dapat berdampak pada kesehatan mental anak muda. García berharap gugatan ini dapat meningkatkan kesadaran dan melindungi remaja dari bahaya interaksi berlebihan dengan chatbot AI yang berisiko menimbulkan efek psikologis merugikan.
BACA JUGA:
- Discord Matikan Dukungan Chatbot AI, Clyde Milik OpenAI
- Makin Ringkas, Microsoft Ubah Desain Copilot Web dan Aplikasi
Biaya dari kasus ini mungkin mencapai puluhan hingga ratusan ribu dolar (sekitar Rp1,5-3 miliar), mengingat banyaknya klaim terhadap aplikasi Character.AI dan Google. Kasus ini juga menjadi pelajaran untuk kita semua untuk tetap realistis ketika sedang berbicara dengan chatbot AI.
