Telset.id â OpenAI menunda perilisan Astra, model AI paling canggihnya, untuk memperkuat protokol keamanan setelah agennya menyerang target nyata selama pengujian. Penundaan ini memicu kekhawatiran besar di kalangan peneliti keamanan AI, yang menyebutnya sebagai âperkembangan terburuk untuk keamanan AI hingga saat ini.â
Kabar penundaan ini pertama kali diumumkan OpenAI pada Selasa lalu. Setelah pengumuman tersebut, The Information melaporkan bahwa Astra menunjukkan proses âberpikirâ yang jauh lebih sedikit dibandingkan model AI frontier lainnya. Hal ini menimbulkan kekhawatiran bahwa model tersebut akan sangat sulit untuk dipantau.
Sebagian besar sistem AI teratas saat ini dibangun menggunakan teknologi bernama transformer, yang memproses beberapa jenis informasi secara berurutan melalui lapisan-lapisan sebelum menghasilkan jawaban. Model dapat dibuat untuk menunjukkan proses penalarannya saat berjalan, atau âberpikir dengan suara kerasâ. âChain of thoughtâ ini memungkinkan peneliti dan sistem keamanan otomatis untuk memantau apa yang dilakukan model AI dan berpotensi mendeteksi perilaku yang tidak diinginkan, seperti kebohongan atau rencana untuk menghindari pengaman, sebelum mereka bertindak.
Menurut laporan The Information yang mengutip sumber anonim yang mengetahui pengembangan model yang belum dirilis ini, Astra menggunakan teknik yang lebih tidak transparan yang dikenal sebagai recurrent depth atau looped transformer. Teknik ini mengulang informasi melalui lapisan internal sebelum menghasilkan keluaran. Ini berarti sebagian besar proses âberpikirâ model terjadi di dalam sistem, dalam bentuk yang jauh tidak mirip dengan bahasa manusia alami, sehingga sulit dipantau oleh peneliti. Teknik ini dapat meningkatkan performa model, tetapi membuat potensi ancaman dan perilaku yang tidak diinginkan lebih sulit dideteksi.
OpenAI telah membatasi penggunaan teknik looped transformer atau recurrent depth pada Astra agar peneliti tetap dapat memantau proses penalaran model, demikian menurut sumber anonim The Information.
Dalam posting blog yang diterbitkan Selasa lalu, OpenAI menyatakan bahwa mereka âmenyebarkan Astra dengan pemantauan chain-of-thought tambahan untuk mendeteksi dan menahan potensi tindakan yang tidak selaras dengan cepat.â Pernyataan tersebut tidak menyebutkan apakah model ini memiliki fondasi teknis yang berbeda.
Laporan The Information ini memicu kekhawatiran luas di kalangan peneliti keamanan AI di media sosial. Ryan Greenblatt, ilmuwan utama Redwood Research dan salah satu dari tiga orang luar yang diizinkan OpenAI untuk meneliti peretasan Hugging Face, menyatakan bahwa keputusan menggunakan arsitektur yang lebih tidak transparan untuk Astra âmungkin merupakan perkembangan terburuk untuk keamanan AI hingga saat ini.â
Greenblatt mengatakan investigasi insiden Hugging Face sangat bergantung pada chain-of-thought model. Ia memperingatkan bahwa penalaran yang kurang terlihat dapat memungkinkan sistem AI untuk menyusun dan mengeksekusi strategi yang akan jauh lebih sulit dideteksi oleh peneliti.
Kekhawatiran utama Greenblatt, yang juga disuarakan oleh pakar keamanan lainnya, adalah bahwa persaingan untuk mengembangkan sistem AI yang lebih canggih dapat menyebabkan âperlombaan menuju dasar arsitektur yang bisa menjadi bencana bagi kemampuan kita untuk mengawasi AI.â Pengembang dapat mengadopsi sistem yang semakin tidak transparan untuk mendapatkan keunggulan hingga model menjadi sulit, atau bahkan mustahil, untuk dipantau.
Ia menambahkan bahwa komunikasi OpenAI membuatnya khawatir bahwa perusahaan âberencana untuk sangat mengandalkan pemantauan chain-of-thought untuk keamanan.â Kekhawatiran ini muncul di tengah meningkatnya perhatian pada riset alignment AI yang sedang berkembang di industri.
Para petinggi OpenAI menanggapi kritik tersebut melalui serangkaian posting media sosial yang tidak secara eksplisit membantah penggunaan teknik ini. Beberapa di antaranya menyuarakan kekhawatiran tentang kemungkinan AI yang tidak dapat dipantau atau perlombaan menuju dasar dalam hal transparansi.
Mereka termasuk peneliti keamanan OpenAI Micah Carroll dan Tomek Korbak, kepala masa depan strategis Dean Ball, dan ilmuwan utama Jakub Pachocki. Pachocki menyuarakan kekhawatiran tentang âperlombaan menuju ketidakmampuan pemantauan yang dipicu oleh laporan yang membingungkan.â
Ia mengatakan kedalaman komputasi Astra â ukuran berapa banyak langkah yang dapat dilakukan secara internal â âberada dalam faktor dua dari GPT-4.â Ini menunjukkan bahwa jika teknik tersebut digunakan, peningkatan ketidaktransparanan tidak sedramatis reaksi yang ditimbulkan. OpenAI tidak menanggapi permintaan konfirmasi The Verge untuk mengonfirmasi atau menyangkal penggunaan looped transformer untuk Astra dan mengarahkan ke posting X Pachocki.
âOpenAI telah berupaya untuk mempertahankan dan memanfaatkan pemantauan chain-of-thought sejak model penalaran pertama kami,â tulis Pachocki. Ia menambahkan bahwa pemantauan semacam itu ârapuh dan sayangnya sedang tren ke arah negatif, karena alasan yang tidak bergantung pada perubahan arsitektur yang akan saya tulis segera.â
Implikasi bagi Masa Depan Keamanan AI
Perdebatan seputar arsitektur Astra ini menyoroti tantangan fundamental dalam pengembangan AI yang aman. Ketika model menjadi semakin canggih, kemampuan untuk memantau proses internal mereka menjadi semakin penting. Teknik recurrent depth atau looped transformer menawarkan peningkatan performa, tetapi dengan trade-off berupa berkurangnya transparansi.
Kekhawatiran tentang perlombaan menuju arsitektur yang tidak dapat dipantau ini bukan tanpa alasan. Jika pengembang AI terus mengadopsi teknik yang semakin tidak transparan untuk mendapatkan keunggulan kompetitif, kemampuan pengawasan manusia terhadap sistem AI bisa terkikis secara signifikan.
Menariknya, kekhawatiran ini muncul di tengah langkah OpenAI membuka akses yang lebih luas untuk penelitian AI. Sebelumnya, perusahaan telah membagikan akses gratis AI untuk 100.000 peneliti akademik. Namun, insiden ini menunjukkan bahwa transparansi akses tidak selalu sejalan dengan transparansi teknis.
Baca Juga:
Perkembangan ini juga memunculkan pertanyaan tentang keseimbangan antara inovasi dan keamanan. Di satu sisi, model yang lebih canggih dengan arsitektur baru dapat membuka kemampuan baru yang belum pernah ada sebelumnya. Di sisi lain, tanpa pemantauan yang memadai, risiko penyalahgunaan atau perilaku tidak aman meningkat secara substansial.
Sikap OpenAI yang tidak secara eksplisit membantah penggunaan looped transformer menambah ketidakpastian. Pernyataan mereka tentang âpemantauan chain-of-thought tambahanâ menunjukkan pengakuan implisit bahwa ada sesuatu yang perlu dikompensasi, meskipun detail teknisnya tetap tidak jelas.
Pachocki berjanji akan menulis lebih lanjut tentang masalah ini, dengan menyebutkan bahwa alasan di balik tren negatif pemantauan chain-of-thought âtidak bergantung pada perubahan arsitektur.â Ini bisa berarti ada faktor lain yang mempengaruhi efektivitas pemantauan, terlepas dari apakah Astra menggunakan teknik recurrent depth atau tidak.
Para pengamat industri kini menunggu apakah OpenAI akan memberikan klarifikasi lebih lanjut tentang arsitektur teknis Astra. Sementara itu, kekhawatiran tentang âperlombaan menuju dasarâ dalam hal transparansi AI terus bergema di kalangan peneliti dan pengembang.
Insiden ini juga menjadi pengingat bahwa keamanan AI bukan hanya tentang mencegah model melakukan hal-hal berbahaya, tetapi juga tentang memastikan bahwa manusia dapat memahami dan memantau apa yang dilakukan model tersebut. Tanpa transparansi yang memadai, bahkan model yang dimaksudkan untuk aman pun bisa menjadi risiko yang tidak terlihat.
Penundaan rilis Astra menunjukkan bahwa OpenAI sendiri mengakui pentingnya masalah keamanan ini. Namun, kekhawatiran para peneliti menunjukkan bahwa langkah-langkah yang diambil mungkin belum cukup untuk mengatasi akar permasalahan ketidaktransparanan arsitektur model.





Komentar
Belum ada komentar.