Telset.id – Model AI terbaru OpenAI, Astra, dilaporkan akan menggunakan teknik penalaran bernama “recurrent depth” yang memungkinkannya bekerja di luar pemikiran sekuensial yang menjadi ciri sebagian besar model penalaran. Teknik yang juga disebut “opaque recurrence” ini dikhawatirkan akan membuat proses penalaran model semakin sulit dipantau, memicu kekhawatiran serius di kalangan pakar keamanan AI.
Menurut laporan The Information pada Selasa lalu, penggunaan teknik ini oleh Astra memang terbatas. Namun, kemunculannya tetap menimbulkan kekhawatiran signifikan di kalangan pakar keamanan AI karena berpotensi menggerus transparansi cara kerja model AI. Kekhawatiran ini muncul di tengah rencana OpenAI yang sebelumnya sempat menunda rilis Astra karena isu keamanan.
“Saya sangat khawatir dengan laporan bahwa Astra menggunakan opaque recurrence,” tulis CEO Redwood, Buck Shlegeris, dalam sebuah unggahan setelah berita tersebut beredar. “Saya tidak tahu apakah Astra jauh lebih sulit dipantau CoT-nya dibandingkan model sebelumnya. Tetapi jika OpenAI mendorong teknik ini lebih jauh, mereka akan memiliki opsi untuk meningkatkan recurrence secara masif dan menghancurkan total kemampuan pemantauan CoT.”
Advokat keamanan AI yang sudah lama berkecimpung, Zvi Mowshowitz, juga angkat bicara dan menulis bahwa regulasi mungkin diperlukan untuk mencegah “perlombaan menuju dasar” di antara laboratorium AI. “Teknik ini seperti bermain api, merisikokan tabu yang telah diperjuangkan OpenAI dan Anthropic untuk ditegakkan, yaitu bahwa kita bekerja keras untuk menjaga kesetiaan dan kemampuan pemantauan Chain of Thought selama mungkin,” tulis Mowshowitz. “Penggunaan teknik semacam itu secara lebih intensif kemungkinan akan merusak kemampuan pemantauan.”
Apa Itu Opaque Recurrence dan Mengapa Berisiko?
Dalam keadaan normal, chain of thought pada model penalaran menyediakan langkah-langkah sekuensial yang diambil model saat mencoba memecahkan masalah. Meskipun representasi ini tidak sempurna, chain of thought tetap menjadi alat berharga untuk memantau kesalahan perilaku atau misalignment. Dalam kasus aktivitas agen nakal OpenAI baru-baru ini, catatan chain-of-thought menjadi alat penting untuk mengungkap mengapa agen tersebut berperilaku demikian.
Pada opaque recurrence, model mengambil pendekatan yang kurang linear, memproses query yang sama beberapa kali dalam satu putaran. Hasilnya meninggalkan jejak yang lebih sedikit terbaca, secara efektif menghindari catatan chain-of-thought konvensional. Ini berarti para peneliti keamanan akan kesulitan memahami alasan di balik keputusan yang dibuat model.
Yang penting, penggunaan teknik ini oleh Astra tampaknya terbatas. Chain of thought model tersebut masih diharapkan tetap dapat dibaca, dan OpenAI membantah keras anggapan bahwa mereka akan beralih ke “neuralese”. OpenAI juga telah mengumumkan rencana sistem pemantauan chain-of-thought yang ekstensif sebagai bagian dari rencana keamanan berwawasan ke depan mereka.
Dalam unggahan di X, kepala ilmuwan OpenAI Jakub Pachocki menekankan komitmen laboratorium terhadap chain of thought yang dapat dibaca. “OpenAI telah berupaya untuk mempertahankan dan memanfaatkan pemantauan chain-of-thought sejak model penalaran pertama kami,” tulis Pachocki. “Ini adalah tujuan inti dari program riset kami saat ini.”
Semua model AI memang melakukan sejumlah penalaran opaque, dan hanya sedikit peneliti yang menganggap log chain-of-thought sebagai representasi langsung dari penalaran model. Meski demikian, peringatan tersebut tidak menghilangkan kekhawatiran bahwa opaque recurrence dapat membuat penalaran AI semakin sulit dipantau, terutama seiring meningkatnya penggunaannya di berbagai model.
Baca Juga:
Kekhawatiran Meluas ke Seluruh Industri AI
Dalam laporan lanjutan Rabu pagi, The Information melaporkan bahwa Anthropic dan Google DeepMind juga telah membahas teknik tersebut. Hal ini menunjukkan bahwa kekhawatiran tidak hanya terbatas pada OpenAI, melainkan menjalar ke seluruh industri AI. Menariknya, isu ini muncul di tengah berbagai dinamika lain yang melibatkan OpenAI, termasuk dukungan Trump dalam kasus hak cipta yang melibatkan NYT.
Kepala ilmuwan Redwood Research, Ryan Greenblatt, dalam unggahan menanggapi berita tersebut mengatakan bahwa penalaran opaque dapat dengan mudah berkembang lebih cepat daripada penalaran chain-of-thought konvensional, secara efektif menghilangkan semua penalaran dari saluran yang terlihat. “Kekhawatiran terbesar saya adalah bahwa perkembangan alami dari sini akan melibatkan peningkatan skala penalaran opaque ke titik di mana model bernalar sepenuhnya atau hampir sepenuhnya di ruang laten,” tulis Greenblatt. “Saya berharap belum terlambat untuk menghindari arsitektur yang paling mengkhawatirkan dan OpenAI akan berhenti di sini.”
Kekhawatiran para pakar berakar pada prinsip dasar keamanan AI: kemampuan untuk memahami mengapa model membuat keputusan tertentu. Jika model bernalar secara tersembunyi, mustahil untuk mengetahui apakah model tersebut bertindak sesuai tujuan yang dimaksudkan atau justru mengembangkan perilaku yang tidak diinginkan. Hal ini menjadi semakin krusial seiring meningkatnya penggunaan AI dalam keputusan-keputusan penting.
Perdebatan ini juga menyoroti ketegangan antara inovasi dan keamanan dalam pengembangan AI. Di satu sisi, teknik seperti recurrent depth dapat membuat model lebih efisien dan mampu. Di sisi lain, kurangnya transparansi menciptakan risiko yang belum sepenuhnya dipahami. Diskusi tentang perdebatan istilah dalam komunitas AI menunjukkan betapa kompleksnya lanskap etika dan keamanan yang sedang dihadapi industri ini.
Pernyataan Pachocki yang menegaskan komitmen OpenAI terhadap chain of thought yang dapat dibaca menjadi sinyal bahwa perusahaan masih menghargai transparansi. Namun, para kritikus berpendapat bahwa sekadar pernyataan tidak cukup. Mereka ingin melihat komitmen nyata yang tercermin dalam arsitektur model, bukan hanya dalam siaran pers.
Pertanyaan besar yang kini menggantung adalah apakah OpenAI akan benar-benar berhenti pada penggunaan terbatas teknik ini, atau justru akan terus mengembangkannya di masa depan. Jawaban atas pertanyaan ini akan sangat menentukan arah keamanan AI dalam beberapa tahun ke depan, mengingat posisi OpenAI sebagai salah satu pemimpin industri.
Yang jelas, kasus ini menunjukkan bahwa transparansi dalam pengembangan AI bukan sekadar nilai idealis, melainkan kebutuhan praktis untuk memastikan teknologi ini tetap aman dan dapat dipertanggungjawabkan. Tanpa kemampuan untuk memantau cara kerja model, mustahil untuk mencegah potensi penyalahgunaan atau kesalahan yang dapat berdampak luas.
Diskusi tentang opaque recurrence ini kemungkinan akan terus berlanjut seiring OpenAI merilis lebih banyak detail tentang Astra. Sementara itu, para pakar keamanan AI akan terus mengawasi dengan cermat setiap langkah pengembangan model ini, berharap bahwa kekhawatiran mereka tidak menjadi kenyataan.
Komentar
Belum ada komentar.