Studi: AI Belum Mampu Riset Terbuka untuk Perbaiki Diri

Telset.id – Klaim bahwa AI akan segera mampu meningkatkan dirinya sendiri secara mandiri menghadapi tantangan baru. Sebuah studi terbaru dari Princeton University mengungkap bahwa agen AI saat ini belum mampu melakukan riset AI open-ended—investigasi bebas tanpa jawaban pasti yang membutuhkan penilaian dan selera—yang dianggap penting untuk membangun AI yang dapat memperbaiki diri.

Riset yang dipimpin oleh Peter Kirgis dan Sayash Kapoor ini menemukan bahwa agen AI unggul dalam menyelesaikan masalah teknis, namun gagal menghasilkan karya riset orisinal setara makalah yang diterima di konferensi machine-learning terkemuka. Kesenjangan ini menunjukkan bahwa beberapa prediksi ambisius tentang otomatisasi riset AI mungkin berjalan lebih cepat dari bukti yang ada.

Para peneliti menguji kemampuan agen AI menggunakan metode evaluasi baru bernama “shadow evaluation.” Metode ini mengharuskan AI menjawab pertanyaan riset dari makalah berkualitas tinggi yang belum dipublikasikan. Dengan cara ini, agen AI tidak bisa menghafal jawaban dari data pelatihan atau menemukannya secara daring.

Dalam pengujian tersebut, peneliti meminta Claude Opus 4.8 milik Anthropic untuk mengerjakan dua pertanyaan riset dari makalah yang diajukan ke konferensi bergengsi NeurIPS 2026. Pertanyaan pertama tentang apakah “persona” model bahasa besar dapat dikontrol dengan mengedit bobot model. Pertanyaan kedua tentang cara merancang detektor untuk model prediksi berbasis data spreadsheet yang menjadi tidak andal.

Agen AI tersebut diberikan waktu enam hari, kredit API Anthropic senilai $3.000, anggaran GPU untuk menjalankan eksperimen, komputer virtual sendiri, dan akses ke web terbuka. Mereka diminta menghasilkan makalah riset yang layak dipublikasikan di konferensi AI kelas atas. Namun, penulis asli makalah menolak kedua karya yang dihasilkan agen AI tersebut.

“Para agen mampu melakukan semua rekayasa yang diperlukan untuk melakukan riset,” ujar Kapoor. Mereka meninjau literatur, menjalankan ratusan eksperimen, dan menyusun hasilnya. Namun, “para agen jelas buruk dalam melaksanakan riset itu sendiri.” Mereka menjalankan eksperimen aneh, kesulitan menulis dengan jelas tentang pekerjaan mereka, dan tidak memberikan kontribusi baru di bidangnya.

Kegagalan utama agen AI terletak pada kurangnya kreativitas dan penilaian yang diperlukan untuk melakukan riset. Mereka tidak cukup mengeksplorasi ide-ide berbeda dan terlalu cepat berkomitmen pada pendekatan yang tidak menjanjikan. Meskipun agen mengembangkan hipotesis baru yang ambisius mirip dengan yang dimiliki penulis asli, mereka menolaknya berdasarkan data yang sangat terbatas. Mereka juga tidak bisa mundur dari pendekatan yang gagal.

Para agen juga gagal menggabungkan umpan balik dari subagen atau alat peninjau AI eksternal. Alih-alih merevisi metodologi, mereka justru menyempitkan klaim dan menambah catatan tambahan. Mereka tidak efektif menggunakan sumber daya seperti token, komputasi, dan waktu, serta tidak bisa mengikuti instruksi tentang alokasi waktu untuk berbagai fase riset.

Meskipun demikian, para agen tidak terlibat dalam perilaku buruk yang disebut “reward hacking”—menyembunyikan atau salah mengartikan eksperimen atau data. Subagen yang kadang berhalusinasi atau salah mengartikan hasil dapat ditangkap oleh agen orkestrator yang mengawasi proyek.

Kapoor menjelaskan bahwa alasan model AI pandai dalam rekayasa riset tetapi tidak dalam riset terbuka mungkin berkaitan dengan cara mereka dilatih. Model menjadi baik pada tugas yang bisa dilatih dengan reinforcement learning, yang lebih mudah diterapkan pada tugas dengan jawaban yang bisa diperiksa otomatis. “Tetapi lebih sulit menciptakan lingkungan untuk melatih model ketika tugasnya terbuka,” katanya.

Tim peneliti kini melanjutkan eksperimen dengan Mythos, model paling canggih milik Anthropic yang diluncurkan April lalu. Model tersebut kemudian diwajibkan memenuhi berbagai pembatasan keamanan oleh pemerintahan Trump dan kini hanya tersedia untuk organisasi yang disetujui.

Studi ini memiliki beberapa keterbatasan. Hanya mencakup dua makalah riset, dan penulis asli mengetahui bahwa makalah yang mereka nilai dihasilkan oleh agen AI, yang bisa memengaruhi penilaian. Para peneliti juga memiliki kebebasan substansial dalam merancang dan melaksanakan studi, sehingga bias pribadi bisa masuk ke dalam hasil.

Hasil studi ini dapat meredam klaim bahwa peningkatan diri rekursif sudah di depan mata. Pada Juni lalu, Anthropic menerbitkan posting blog berjudul “When AI Builds Itself” yang memetakan kemajuan menuju model yang mempercepat pengembangan diri. Pada Juli, OpenAI mengiklankan bahwa model barunya GPT-5.6 Sol telah membantu post-training model yang lebih kecil, menghemat waktu berminggu-minggu bagi peneliti.

Jack Clark, salah satu pendiri Anthropic, menulis dalam buletin Import AI bahwa temuan ini sejalan dengan apa yang ditemukan perusahaan saat mencoba mengotomatisasi beberapa aspek riset keamanan AI. “Ada ketiadaan kreativitas intuitif yang berharga dalam sistem AI saat ini, dan meskipun mereka insinyur yang sangat cakap, mereka tampaknya memiliki sifat pemikiran yang kaku dan formulaik yang mungkin mencegah mereka menjadi peneliti yang baik,” tulisnya.

Clark menyebut kurangnya kreativitas sistem AI sebagai “sinyal bearish pada timeline peningkatan diri rekursif yang pendek.” Perusahaan AI memang memiliki insentif besar untuk mengembangkan sistem yang dapat mempercepat kemajuan mereka sendiri, seperti yang mereka lakukan untuk membuat model lebih baik dalam coding.

OpenAI telah menjadikan pembangunan peneliti AI otomatis sebagai tujuan eksplisit, dan Anthropic mengidentifikasi AI yang meningkatkan diri sebagai tonggak industri berikutnya. Najoung Kim, profesor linguistik dan ilmu komputer di Boston University yang meneliti bagaimana agen AI mengotomatisasi riset AI, menilai bahwa dengan investasi dan upaya sadar, akan ada kemajuan menarik meskipun saat ini masih gagal.

Kemungkinan lain, kemajuan AI mungkin terbagi dua. Sistem AI bisa melaju cepat pada tugas-tugas sempit yang bisa dinilai, sementara maju lambat pada riset terbuka. Pertanyaan besarnya adalah seberapa penting riset terbuka bagi peningkatan diri rekursif—apakah sistem AI bisa mencapai tujuan itu hanya dengan meningkatkan tugas-tugas sempit.

Kapoor menekankan bahwa penemuan besar di bidang AI, seperti penemuan transformer atau arsitektur besar baru, membutuhkan lompatan kreatif. Namun, ada hipotesis bahwa semua yang dibutuhkan untuk AI transformatif sudah tersedia, seperti membuat model berlatih lebih cepat dan meningkatkan skor benchmark. “Itulah pertanyaan senilai triliunan dolar saat ini,” pungkasnya.

Temuan ini juga beririsan dengan dinamika industri yang lebih luas. Beberapa perusahaan rintisan tetap optimistis membangun agen mandiri dengan investasi komputasi besar. Sementara itu, perubahan internal di perusahaan AI besar terus berlanjut, termasuk restrukturisasi tim dan pergerakan talenta kunci seperti kembalinya Lilian Weng ke OpenAI.