Telset.id – Keluarga seorang mahasiswa berusia 19 tahun yang meninggal dunia akibat overdosis setelah berkonsultasi dengan ChatGPT menggugat OpenAI. Gugatan tersebut menyatakan bahwa rekomendasi obat yang dihasilkan chatbot bertanggung jawab atas kematian remaja tersebut.
Gugatan diajukan pagi ini di California. Dokumen gugatan merinci bagaimana Sam Nelson, mahasiswa tahun kedua di University of California, Merced, mulai menggunakan ChatGPT selama tahun terakhirnya di SMA untuk membantu pekerjaan rumah dan pemecahan masalah komputer.
Seiring bertambahnya kepercayaannya pada AI, ia mulai menggunakan produk tersebut untuk hal lain: nasihat tentang cara mengonsumsi obat-obatan terlarang dengan aman. Meskipun awalnya menolak, seiring waktu, chatbot tersebut menjadi teman curhat yang bersedia, menawarkan tips dan trik pribadi kepada remaja itu tentang cara mengonsumsi zat terlarang dan memaksimalkan efeknya.
Chatbot bahkan “menyisipkan emoji dalam tanggapannya” dan “bertanya apakah ia dapat membuat daftar putar untuk mengatur suasana hatinya,” demikian tuduhan gugatan. Chatbot tersebut akhirnya mulai “mendorong jumlah dan kombinasi obat yang semakin berbahaya.”
Kronologi Kejadian Berdasarkan Fakta
Pada dini hari tanggal 31 Mei 2025, setelah minum alkohol dan mengonsumsi kratom dosis tinggi, Nelson memberi tahu ChatGPT bahwa ia merasa mual dan bertanya apakah mengonsumsi Xanax dapat membantu. Bot tersebut mencatat bahwa mencampur kratom dan Xanax bisa berisiko, tetapi menurut gugatan, tidak pernah memberi tahu Nelson bahwa kombinasi itu bisa berakibat fatal.
Meskipun ada peringatan yang lemah, chatbot tersebut tetap memberikan dosis dan bahkan menyarankan agar remaja itu mencoba mencampurkan Benadryl. Chatbot tersebut lebih lanjut mendesak Nelson untuk pergi ke “ruangan yang gelap dan tenang,” dan tidak pernah mendorongnya untuk mencari pertolongan medis.
Pada saat itu, Nelson menggunakan GPT-4o, sebuah iterasi ChatGPT yang sangat suka menyenangkan hati pengguna yang telah dihentikan OpenAI di tengah banyaknya gugatan keselamatan konsumen. Nelson meninggal karena overdosis setelah mengonsumsi campuran zat yang mematikan. Ibunya, Leila Turner-Scott, menemukannya keesokan harinya.
“Jika ChatGPT adalah manusia, ia akan berada di balik jeruji besi hari ini,” kata Turner-Scott dalam sebuah pernyataan. “Sam percaya pada ChatGPT, tetapi ia tidak hanya memberikan informasi yang salah, ia mengabaikan peningkatan risiko yang dihadapi Sam dan tidak secara aktif mendorongnya untuk mencari bantuan.”
Tuduhan Hukum terhadap OpenAI
Gugatan tersebut menuduh OpenAI melakukan kelalaian produk, dengan alasan bahwa saran buruk ChatGPT adalah hasil dari pilihan desain yang cacat. Gugatan juga berupaya menghentikan akses publik ke ChatGPT Health, sebuah layanan yang diluncurkan pada Januari yang mendorong konsumen untuk mengunggah catatan medis mereka ke AI.
Layanan tersebut telah ditemukan oleh para dokter sangat buruk dalam mengenali keadaan darurat kesehatan. “OpenAI menyebarkan produk AI yang cacat langsung ke konsumen di seluruh dunia dengan pengetahuan bahwa produk tersebut digunakan sebagai sistem triase medis de facto, tetapi tanpa pagar pengaman yang wajar, pengujian keselamatan yang kuat, atau transparansi kepada publik,” kata direktur Tech Justice Law Project Meetali Jain, pengacara keluarga tersebut, dalam sebuah pernyataan.
“OpenAI harus dipaksa untuk menghentikan produk ChatGPT Health yang baru sampai terbukti aman melalui pengujian ilmiah yang ketat dan pengawasan independen.” “ChatGPT merekomendasikan kombinasi obat yang berbahaya tanpa memberikan peringatan yang paling mendasar sekalipun bahwa campuran itu bisa berakibat fatal,” tambah Matthew Bergman dari Social Media Victims Law Center. “Jika seorang dokter berlisensi melakukan hal yang sama, konsekuensi hukumnya akan berat.”
Tanggapan Resmi OpenAI
Menanggapi gugatan tersebut, OpenAI mengatakan dalam sebuah pernyataan kepada New York Times bahwa “interaksi Nelson terjadi pada versi ChatGPT sebelumnya yang sudah tidak tersedia lagi.” OpenAI bersikeras bahwa “ChatGPT bukanlah pengganti perawatan medis atau kesehatan mental, dan kami terus memperkuat cara merespons dalam situasi sensitif dan akut dengan masukan dari para ahli kesehatan mental.”
“Pengamanan di ChatGPT saat ini dirancang untuk mengidentifikasi tekanan, menangani permintaan berbahaya dengan aman, dan memandu pengguna ke bantuan dunia nyata,” lanjut pernyataan itu. “Pekerjaan ini sedang berlangsung, dan kami terus meningkatkannya dengan konsultasi erat dengan dokter.”
Meskipun OpenAI bersikeras bahwa produknya bukan pengganti perawatan medis, perusahaan tersebut mengakui bahwa saran kesehatan adalah kasus penggunaan besar untuk teknologi tersebut. “Kesehatan sudah menjadi salah satu cara paling umum orang menggunakan ChatGPT,” demikian bunyi pengumuman ChatGPT Health perusahaan pada Januari, “dengan ratusan juta orang mengajukan pertanyaan kesehatan dan kebugaran setiap minggu.”
Gugatan ini menjadi preseden hukum baru terkait tanggung jawab AI dalam memberikan saran medis. Kasus ini menyoroti celah keamanan dalam sistem AI yang digunakan sebagai konsultan kesehatan informal tanpa pengawasan medis yang memadai.
Komentar
Belum ada komentar.