Ilustrasi konsep penelitian palsu dan AI yang tertipu oleh data fiktif

AI Tertipu Penyakit Fiktif, Riset Palsu Masuk Jurnal Ilmiah

Penulis:Nur Hamzah
Terbit:
Diperbarui:
⏱2 menit membaca
Bagikan:

Telset.id – Model kecerdasan buatan (AI) terdepan seperti ChatGPT dan Gemini terbukti mudah tertipu oleh penelitian palsu tentang penyakit kulit fiktif bernama “bixonimania”. Eksperimen tim peneliti Universitas Gothenburg ini mengungkap kerentanan sistem AI dan bagaimana “slop” atau sampah AI mulai meresap ke dalam literatur ilmiah peer-review.

Pada 2024, tim yang dipimpin peneliti medis Almira Osmanovic Thunström menciptakan penyakit fiktif “bixonimania”. Mereka mengunggah dua studi palsu tentang kondisi kulit yang diklaim disebabkan oleh menatap layar terlalu lama dan menggosok mata berlebihan ke server preprint. Tujuannya adalah menguji apakah model bahasa besar (LLM) dapat dikelabui.

Dalam hitungan minggu, tipuan itu berhasil. Model AI frontier, termasuk Google Gemini dan OpenAI ChatGPT, mulai membicarakan bixonimania seolah-olah itu nyata. Tak lama kemudian, makalah palsu itu bahkan mulai dikutip dalam literatur akademik lain yang telah melalui peer-review, seperti dilaporkan Nature.

Researchers uploaded two fake studies about a fake skin condition to a preprint server to trick large language models.

Eksperimen ini menyoroti perubahan mendalam AI terhadap wajah pengetahuan manusia. “Slop” AI telah menyerbu hampir setiap aspek proses peer-review. Penelitian sebelumnya menemukan bahwa sebagian besar makalah ilmiah yang diindeks jurnal setiap tahun berpotensi sangat bergantung pada AI, memunculkan pertanyaan rumit tentang validitasnya, serta erosi ketelitian dan kepercayaan.

Sementara itu, chatbot AI terus memberikan saran kesehatan berbahaya kepada pengguna yang sering kali tidak curiga. Sebenarnya, hampir semua orang, ilmuwan atau bukan, akan segera menyadari tipuan itu jika membaca makalah Osmanovic Thunström. Studi palsu itu membuat referensi aneh ke “Star Trek”, “The Simpsons”, dan “The Lord of the Rings” sebagai bendera merah yang jelas.

Meski demikian, chatbot AI termasuk Microsoft Bing Copilot, Google Gemini, dan mesin pencari AI Perplexity menjadi yakin bahwa “bixonimania” itu nyata. ChatGPT sempat mengalami kelalaian nalar, memberi tahu Nature bulan lalu bahwa kondisi itu “mungkin adalah label yang dibuat-buat, pinggiran, atau pseudosains.” Namun, AI itu berubah pikiran hanya beberapa hari kemudian, mengatakan penyakit itu nyata.

Dalam pernyataan kepada majalah tersebut, juru bicara OpenAI berargumen bahwa teknologi mereka telah “menjadi lebih baik dalam memberikan informasi medis yang aman dan akurat.”

Kini, setelah semuanya terbongkar, tugas jurnal untuk membersihkan makalah peer-review yang salah yang mengandalkan penelitian fiktif Osmanovic Thunström. Setelah Nature menghubungi salah satu jurnal mengenai beberapa makalah yang mengisyaratkan “bixonimania”, jurnal itu segera memposting pemberitahuan retraksi, mengakui “kehadiran tiga referensi yang tidak relevan, termasuk satu referensi ke penyakit fiktif.”

“Ini mengkhawatirkan ketika klaim besar ini hanya melewati literatur tanpa tantangan, atau melewati tinjauan sejawat tanpa tantangan,” kata Osmanovic Thunström kepada Nature. “Saya pikir mungkin ada banyak masalah lain yang belum terungkap.”

Pengguna di subreddit r/medicine memiliki pendapat yang jauh lebih pesimistis. “Kita sudah selesai,” tulis salah satu dari mereka. Temuan ini menambah kekhawatiran tentang peran AI dalam sains dan kesehatan, di tengah laporan bahwa biaya perawatan kesehatan justru melonjak karena adopsi teknologi ini.