Telset.id – Riset independen bernama AI Observatory mengungkap bahwa laporan penggunaan AI dari perusahaan besar seperti Anthropic dan OpenAI hanya menampilkan sebagian kecil data. Platform publik ini menganalisis 24.521 percakapan nyata dengan model AI populer seperti Claude dan Gemini untuk memberikan gambaran yang lebih akurat kepada peneliti dan pembuat kebijakan.
Anka Reuel, kandidat PhD Computer Science di Stanford Trustworthy AI Research (STAIR) Lab, menegaskan bahwa tidak ada sumber independen yang dapat memverifikasi klaim perusahaan AI. Reuel yang menjadi co-lead proyek AI Observatory mengatakan bahwa para pemangku kepentingan saat ini membuat keputusan penting tentang manfaat dan risiko AI berdasarkan data yang sangat terbatas.
Proyek AI Observatory mengumpulkan dan menganalisis percakapan AI nyata yang dikumpulkan dengan persetujuan pengguna melalui tujuh dataset yang sudah ada. Tujuannya adalah menyediakan sumber informasi independen bagi peneliti dan pembuat kebijakan untuk menilai bagaimana masyarakat menggunakan AI generatif.
Temuan Kunci AI Observatory
AI Observatory menemukan bahwa penggunaan AI berbeda secara signifikan antar model dan berubah seiring waktu. Riset ini mengungkap lebih banyak perilaku sensitif daripada yang tercatat dalam laporan perusahaan AI besar yang lebih fokus pada pekerjaan daripada penggunaan pribadi.
Anthropic Economic Index menjadi salah satu sumber data penggunaan AI yang paling dikenal dan banyak dikutip, namun memiliki titik buta. Indeks ini berfokus pada penggunaan Claude AI yang terkait pekerjaan dan produktivitas, menyaring percakapan yang tidak berhubungan dengan penggunaan tersebut.
Ketika tim AI Observatory menerapkan metode Anthropic ke dataset mereka, mereka menemukan bahwa hampir setengah percakapan—atau 48%—akan tersaring. Percakapan yang tidak terkait pekerjaan tersebut lebih mungkin mencakup topik kesehatan dan hubungan (44,2% versus 31,2% dalam analisis Anthropic), topik dewasa atau terlarang (7,9% versus 2,1%), pelecehan dan kebencian (27,5% versus 5,66%), serta konten seksual (16,7% versus 2,4%).
Laporan OpenAI 2025 tentang penggunaan ChatGPT juga menemukan bahwa hanya 30% penggunaan konsumen terkait pekerjaan. David Widder, asisten profesor di UT-Austin School of Information yang meneliti interaksi manusia dengan sistem AI, mengatakan bahwa analisis menyeluruh AI Observatory membantu peneliti memahami berbagai penggunaan secara lebih konsisten dibandingkan laporan yang dipisah-pisah.
Baca Juga:
Dataset yang dianalisis AI Observatory mencakup percakapan yang terjadi antara 2023 dan 2025. Penelitian ini menemukan perbedaan baik dalam cara orang menggunakan AI maupun cara berbagai platform AI merespons.
Percakapan dalam WildChat, salah satu dataset terbesar dan paling detail yang disertakan dalam studi AI Observatory, menjadi lebih panjang dan rumit seiring waktu. Hal ini ditunjukkan dengan peningkatan token prompt, token respons, dan jumlah giliran percakapan. Ada juga peningkatan signifikan dalam small talk, yang mengindikasikan meningkatnya penggunaan AI sebagai teman bicara. Sementara itu, pengungkapan diri asisten AI bahwa mereka adalah chatbot justru menurun.
Pertukaran yang oleh peneliti dilabeli sebagai penggunaan sensitif—konten yang berpotensi berbahaya atau dibatasi, termasuk pelecehan seksual dan ujaran kebencian—justru menurun. Ini mungkin menunjukkan bahwa platform secara umum menerapkan pengaman yang lebih efektif.
Perbedaan Penggunaan Antar Model AI
AI Observatory juga menemukan bahwa penggunaan AI terlihat sangat berbeda tergantung pada modelnya. Bergantung pada alat yang digunakan, pengguna bervariasi dalam topik, gaya interaksi, struktur percakapan, serta kemungkinan dan jenis kasus penggunaan sensitif.
Peneliti menemukan bahwa orang menggunakan Grok dan Gemini lebih sering untuk pencarian informasi. Grok khususnya populer untuk informasi berita dan politik, tetapi juga menjadi tempat konsentrasi misinformasi. Temuan ini konsisten dengan penelitian lain yang menunjukkan betapa mudahnya misinformasi menyebar di Grok. xAI tidak merespons permintaan komentar.
Sementara itu, orang lebih cenderung menggunakan Anthropic untuk coding, Gemini untuk penggunaan sosial dan roleplay, serta ChatGPT untuk bantuan pekerjaan rumah. Bahkan ada perbedaan di antara versi berbeda dari model yang sama. Peneliti menemukan bahwa orang memiliki percakapan lebih pendek dengan ChatGPT ketika ditenagai GPT-3.5, dan percakapan lebih panjang serta lebih iteratif dengan GPT-4o.
Laporan perusahaan tidak cenderung menangkap nuansa ini baik antar maupun dalam model mereka sendiri. “Tidak ada laporan perusahaan tunggal yang menceritakan keseluruhan cerita,” kata Shayne Longpre, lulusan PhD baru dari MIT Media Lab yang ikut memimpin penelitian ini bersama Reuel.
Untuk membuat AI Observatory, Reuel dan peneliti dari MIT, Stanford, Data Provenance Initiative, dan institusi lainnya menggabungkan 24.521 percakapan dengan 85.633 giliran percakapan dari tujuh dataset dunia nyata yang dikumpulkan oleh penelitian sebelumnya. Percakapan ini berasal dari 5.000 pengguna yang berinteraksi dengan 52 model berbeda, termasuk ChatGPT, Gemini, Claude, dan Grok, antara 2023 dan 2025.
Namun percakapan ini hanyalah setetes dibandingkan data yang dimiliki laboratorium besar. Anthropic Economic AI Index terbaru misalnya, didasarkan pada analisis 1 juta percakapan Claude. Laporan OpenAI tentang cara orang menggunakan ChatGPT menganalisis 1,5 juta percakapan. Perwakilan Anthropic mengatakan bahwa riset yang mereka publikasikan mencerminkan pertanyaan dan minat spesifik tim riset mereka, serta pentingnya mendukung riset independen eksternal. OpenAI tidak merespons permintaan komentar.
Fakta bahwa dataset AI Observatory berasal dari sumber yang disediakan secara sukarela berarti kemungkinan kurang mewakili penggunaan sensitif, yang mungkin kurang bersedia dibagikan orang. Oleh karena itu, peneliti mengingatkan bahwa temuan mereka tidak menunjukkan semua penggunaan AI.
Pekerjaan AI Observatory memperluas akses bagi komunitas riset. Perusahaan AI biasanya tidak membagikan data obrolan mereka untuk dianalisis, yang berarti laporan mereka cenderung berfokus pada temuan yang menampilkan perusahaan mereka dalam cahaya terbaik, kata peneliti independen seperti Reuel dan Widder.
“Ketika kita ingin bertanya, misalnya: apakah sistem AI tujuan umum Anthropic… digunakan sebagian besar untuk kebaikan, atau sebagian besar untuk keburukan… kita tidak punya cara untuk menjawab pertanyaan itu karena informasi tersebut bersifat proprietary,” jelas Widder. Data AI Observatory akan tersedia untuk peneliti, dan tim berharap dapat memperluas dataset mereka seiring waktu.
Reuel berharap perusahaan AI mau berbagi data mereka dengan peneliti independen dengan cara yang melindungi privasi pengguna. Namun saat ini, siapa pun yang membuat keputusan berdasarkan data penggunaan AI berisiko “sepenuhnya beroperasi dalam ketidakpastian dan membuat keputusan yang sangat konsekuensial tanpa mengetahui apa yang sebenarnya terjadi di luar narasi perusahaan tersebut.”
Komentar
Belum ada komentar.