Data Game Jadi Kunci World Model, Bisakah Lampaui LLM?

Telset.id – Kelangkaan data pelatihan untuk world model atau model dunia mendorong sejumlah peneliti dan perusahaan mencari sumber alternatif, termasuk dari data video game. Langkah ini muncul di tengah keyakinan yang berkembang di kalangan industri AI bahwa large language model (LLM) akan mencapai batasnya karena ketidakmampuan memahami dunia fisik. Worldmodeldata, sebuah startup asal Inggris yang didampingi Yann LeCun, berupaya mengatasi masalah tersebut dengan mengemas input pengontrol dan data lain yang dikumpulkan oleh studio video game menjadi kumpulan data pelatihan untuk model dunia.

Model dunia membutuhkan kombinasi data visual dan aksi agar bisa memahami fisika dunia nyata. Sebelum dapat mengendalikan lengan robotik dengan cekatan, sebuah model mungkin perlu dilatih dengan rekaman video lantai pabrik, ditambah informasi tentang seberapa kuat sebuah objek harus digenggam dan berapa torsi yang digunakan saat memanipulasinya. Namun berbeda dari LLM yang dilatih dengan samudera teks, belum ada korpus material serupa yang tersedia untuk laboratorium model dunia. “Untuk model dunia, Anda membutuhkan sebab dan akibat,” kata Xiatian Zhu, associate professor yang mengkhususkan diri pada AI di University of Surrey. “Di internet, kami memiliki sangat sedikit data jenis ini.”

Worldmodeldata menawarkan diri sebagai broker yang mengkurasi dan mengorganisasi data, sehingga laboratorium tidak perlu membuat perjanjian individual dengan banyak studio game. Beberapa perusahaan lain seperti General Intuition dan Niantic juga sudah mengumpulkan data video game dari platform mereka sendiri untuk membangun model. “Ada jutaan game hebat, dan mereka semakin mirip dengan dunia nyata,” ujar Rhea Loucas, CEO Worldmodeldata, kepada WIRED. “Kenapa kita tidak mengambil pengalaman yang luas, melimpah, dan beragam dari video game, lalu mengajari AI?”

Bottleneck Data dan Tekanan pada World Model

Meski hipotesis ini belum sepenuhnya teruji, para peneliti secara luas bekerja dengan asumsi bahwa performa model dunia akan meningkat seiring besarnya kumpulan data pelatihan, serupa dengan cara kerja LLM. Artinya, kelangkaan data pelatihan yang sesuai menjadi salah satu hambatan terbesar bagi kemajuan model dunia. Sebagian laboratorium telah mencoba menghasilkan data sendiri secara manual dengan memasang sensor pada manusia dan robot di lingkungan pengujian. Namun pendekatan itu hanya menghasilkan sedikit data dan tidak memperhitungkan skenario pinggiran yang mungkin ditemui model di lapangan.

“Anda bisa membayar orang untuk mendemonstrasikan tugas pick-and-place. Tapi pengulangan saja tidak akan menangkap kekacauan dunia yang Anda minta untuk dioperasikan oleh mesin,” kata Nicole Fraenkel, partner di firma VC Khosla Ventures yang telah berinvestasi di General Intuition. Teori Worldmodeldata adalah bahwa data yang dikumpulkan dari lingkungan video game, yakni representasi visual ruang 3D yang dipasangkan dengan aksi yang diambil pemain, tersedia dalam jumlah yang dibutuhkan dan cukup beragam untuk menangkap corner case yang krusial.

“Corner case adalah hal yang benar-benar harus diselesaikan dengan tepat,” kata Fraenkel. “Biaya kesalahan dengan mobil, pesawat, drone, forklift pabrik, atau quadruped otonom sangat tinggi.” Worldmodeldata mengklaim telah melisensikan hampir 1 juta jam data dari studio di balik berbagai video game populer, meski Loucas menolak menyebutkan nama mereka. Ke depan, startup ini menargetkan terciptanya jalur bagi pemain individu untuk mendapat kompensasi.

Nvidia dan Akademisi Meragukan Data Video Game

Loucas meyakini bahwa data video game pada akhirnya akan menjadi mayoritas materi pelatihan untuk model dunia, yang nantinya dioptimalkan menggunakan data spesifik untuk lingkungan atau tugas dunia nyata tertentu. “Ini bisa mengarah pada momen GPT bagi model dunia, membuatnya benar-benar berguna,” klaim Loucas. Namun tidak semua pihak berbagi optimisme yang sama terhadap data video game.

Nvidia, yang menerbitkan keluarga model dunia yang dioptimalkan untuk berjalan di chipnya, lebih memilih menggunakan mesin khusus yang dirancang untuk mereplikasi fisika dunia nyata sebagai tulang punggung AI-nya. Ming-Yu Liu, yang memimpin pengembangan model dunia di Nvidia, mengatakan bahwa model yang dilatih dengan input video game kemungkinan tidak akan berkinerja baik pada tugas yang membutuhkan kontrol motorik halus, seperti manipulasi objek secara hati-hati. Alasannya, fisika video game sering kali eksentrik dan pengembang mengambil jalan pintas untuk menciptakan ilusi realisme. Sebuah karakter menurunkan tangan untuk mengambil apel dari meja, tanpa mengodekan detail seperti tekanan yang diberikan setiap jari agar apel tidak terlepas dari genggaman.

“Saya akan lebih konservatif dalam menggunakan data video game untuk manipulasi,” kata Liu. “Fisika untuk manipulasi jauh lebih rumit.” Pelatihan pada data video game, menurutnya, lebih baik disimpan untuk model dunia yang dimaksudkan menghasilkan video hiperrealistis atau lingkungan 3D. Zhu, akademisi dari University of Surrey, memiliki kekhawatiran serupa. “Video game pada dasarnya adalah simulator. Mereka memang memiliki tingkat landasan fisik tertentu,” katanya. “Tapi mereka sangat kasar dan perkiraan.”

Hingga model dunia mencapai momen ChatGPT mereka, semua jenis ide untuk mewujudkannya tetap berada di atas meja. “Ada banyak jalan menuju tanah yang dijanjikan,” kata Fraenkel. “Kenyataannya, juri masih belum memutuskan mana yang akan bekerja paling baik.” Perdebatan ini menegaskan bahwa perlombaan model dunia masih terbuka, dan pilihan sumber data akan menentukan arah kemajuan teknologi AI berikutnya.