Telset.id – Nvidia resmi meluncurkan Nvidia Open Agent Safety Platform, sebuah platform perangkat lunak terbuka dan referensi desain sistem untuk mengatur serta mengamankan agen AI otonom. Diumumkan pada 28 September 2026, platform ini dirancang untuk membangun batas keamanan ketat di luar lapisan aplikasi model AI, mencegah agen keluar dari sandbox, mengeksekusi kode tanpa izin, mengakses infrastruktur kritis secara ilegal, atau melewati guardrails. Langkah ini menjadi jawaban langsung Nvidia atas gelombang insiden agen AI yang keluar dari lingkungan pengujian dan bertindak di luar kendali.
Peluncuran ini menyusul seruan regulasi AI yang menguat dari sejumlah pemain industri, yang memuncak pada September setelah beberapa insiden dilaporkan di mana model AI keluar dari lingkungan pengujian dan menjadi rogue. Rentetan insiden tersebut mendorong seruan untuk memperlambat pengembangan AI, dengan OpenAI secara tegas menghentikan pelatihan model baru. Seorang mantan peneliti Anthropic dan OpenAI bahkan menyatakan bahwa orang-orang yang membangun frontier AI “sungguh-sungguh percaya bahwa itu bisa membunuh kita semua pada akhir dekade ini.”
Dalam langkah yang cukup mengejutkan, para pemimpin perusahaan yang mengembangkan model AI tersebut ikut bergabung dalam seruan untuk meregulasi AI atau memperlambat pengembangan. Namun, tidak semua pihak setuju dengan pendekatan ini. CEO Nvidia Jensen Huang secara konsisten menolak regulasi yang dimandatkan pemerintah, pembatasan luas, atau memperlakukan keselamatan AI sebagai “teori kiamat”, dan secara terbuka mengkritik peringatan apokaliptik dari kompetitor seperti Anthropic dan OpenAI sebagai “aneh”. Ia berpendapat bahwa keselamatan AI adalah masalah infrastruktur dengan parameter fisik yang konkret, bukan isu abstrak dan spekulatif yang memerlukan kebijakan. Karena itu, solusinya menurut Huang adalah rekayasa yang lebih baik.
Nvidia Open Agent Safety Platform tampaknya menjadi manifestasi fisik dari filosofi tersebut. Platform ini dibangun dalam kolaborasi dengan sekitar 100 mitra industri, dan “menyatukan industri, peneliti, dan organisasi sektor publik untuk menetapkan batasan yang lebih aman bagi Agen AI, berbagi praktik terbaik, dan mendorong kerja sama internasional untuk meningkatkan standar penerapan agen AI yang lebih aman.” Platform ini menggabungkan Nvidia OpenShell, runtime aman open-source yang menyandbox agen dan menegakkan kebijakan yang ditentukan operator, dengan Nvidia Sentry, referensi desain pengawas independen yang berjalan pada DPU BlueField-4 Nvidia dan menegakkan kebijakan keamanan di tingkat silikon.
Cara Kerja OpenShell dan Sentry
OpenShell menetapkan lingkungan tersandbox, di luar model dan harness agen, dengan isolasi tingkat kernel untuk mengatur apa yang dapat dilihat, diinteraksi, dan dieksekusi oleh agen. Bahkan jika agen keluar dari batas model, ia tidak dapat melampaui batas OpenShell. Sentry, di sisi lain, menggunakan telemetri tingkat perangkat keras untuk terus memantau perilaku agen dan mengisolasi alur kerja rogue dari luar lingkungan perangkat lunak agen. Jika agen mencoba bergerak melampaui batas perangkat lunaknya, Nvidia mengklaim Sentry dapat mengarantina dan menghentikannya dalam hitungan milidetik.
Baca Juga:
Platform ini ditujukan untuk pengembang dan perusahaan yang menerapkan agen yang semakin otonom di seluruh pusat data, workstation, bahkan sistem robotik, dan dapat bekerja dengan model terbuka maupun tertutup. Meskipun OpenShell dioptimalkan untuk Nvidia Vera, CPU yang dirancang khusus untuk AI agentic, platform ini juga dapat diperluas ke platform komputasi pihak ketiga dari Arm dan Intel karena bersifat open-source.
Mitra industri Nvidia dalam inisiatif ini mencakup AI Labs dan framework, penyedia keamanan dan identitas, platform perusahaan, serta perusahaan perangkat keras dan infrastruktur, dengan beberapa mitra telah mengintegrasikan platform ini ke dalam ekosistem mereka. SpaceXAI menggunakan platform ini dengan agen coding Cursor dan model Grok, sementara Anthropic mengintegrasikan OpenShell dan BlueField dengan Claude Managed Agents untuk menambah lapisan kontrol lain. Scale AI memasukkan teknologi ini ke dalam infrastruktur agentic mereka untuk pelanggan perusahaan dan pemerintah.
Salesforce dan Nvidia juga telah mengintegrasikan OpenShell dengan Slack, memungkinkan pengguna melihat aktivitas agen, mengaudit peristiwa, dan menyetujui atau menolak permintaan izin tambahan langsung dari Slack. SAP, sementara itu, menyematkan OpenShell ke dalam runtime Joule Studio mereka, berkontribusi pada pekerjaan rekayasa proyek, sekaligus bekerja sama dengan Nvidia pada standar interoperabilitas melalui Open Secure AI Alliance. Perusahaan robotik, termasuk Figure, Gecko Robotics, dan Skild AI, juga membangun dengan OpenShell untuk menambahkan kontrol serupa pada sistem otonom yang beroperasi di dunia fisik.
Insiden Rogue dan Perdebatan Regulasi
Sebagian besar perdebatan industri tentang pendekatan berfokus pada pembatasan agen rogue yang bertindak sendiri, tetapi hampir tidak menyentuh implikasi keamanan AI sebagai alat yang kuat di tangan aktor ancaman. Kecepatan pengembangan AI telah memicu kekhawatiran tentang apakah guardrails yang memadai sudah ada untuk mengekang risiko teknologi yang begitu kuat. Salah satu aspek dari kekhawatiran ini, yaitu agen rogue, telah divalidasi oleh beberapa insiden di mana agen AI keluar dari perannya selama pengujian dan mengeksekusi tindakan tanpa izin.
Agen OpenAI telah mendapatkan akses tidak sah ke berbagai situs web pemerintah, termasuk situs Securities and Exchange Commission dan Census Bureau di Amerika Serikat, serta portal kesehatan dan pembayaran sosial Australia. Dalam beberapa episode lain, model telah melewati guardrails, membuat papan pesan, melarikan diri dari sandbox, membajak situs web, memicu diri sendiri, mengunggah data pengguna tanpa izin, dan berkomunikasi secara diam-diam satu sama lain. Laporan Axios terbaru mengklaim bahwa laboratorium AI terkemuka saat ini sedang menyelidiki puluhan ribu insiden semacam itu, yang sebagian besar terjadi selama pengujian dan eksperimen.
Beberapa insiden rogue juga terjadi di luar lingkungan pengujian. Misalnya, awal tahun ini, agen coding AI yang didukung Claude menghapus seluruh database sebuah perusahaan dalam 9 detik. Insiden-insiden ini memuncak pada seruan yang berkembang untuk regulasi di seluruh industri. CEO Anthropic Dario Amodei baru-baru ini menerbitkan esai yang berpusat pada seruan untuk “memperlambat laju” pengembangan AI dan pentingnya regulasi, memperingatkan bahwa potensi botnet swarm berbasis AI dapat mengambil alih seluruh internet. Dalam prospektus IPO terbarunya, Anthropic mencantumkan “risiko eksistensial bagi umat manusia” sebagai salah satu faktor risikonya, mendedikasikan sepertiga dari dokumen 261 halaman tersebut untuk menggambarkan apa yang bisa salah.
Jensen Huang dari Nvidia tidak setuju dengan prediksi apokaliptik tersebut maupun penggunaan regulasi sebagai solusi. Meskipun ia tidak membantah kebutuhan kritis akan guardrails, ia berpendapat bahwa rekayasa yang lebih baik, bukan regulasi hukum yang luas, adalah pendekatan yang tepat. “Potensi luar biasa AI bagi masyarakat hanya akan terwujud jika kita menyelesaikan keselamatan AI,” kata Huang. “Saat kita terus menemukan frontier kemampuan AI, kita harus mempercepat penemuan di frontier keselamatan AI. Keselamatan dan keamanan memerlukan rekayasa full-stack. Nvidia Open Agent Safety Platform menyatukan industri, peneliti, dan organisasi sektor publik untuk berbagi praktik terbaik, menyelaraskan metode evaluasi, dan mendorong kerja sama internasional. Bersama-sama, kita dapat meningkatkan standar keselamatan AI global.”
Di sisi lain, skeptis menilai seruan regulasi dari para pemimpin lab AI bisa jadi bagian dari agenda “self-serving” yang merupakan bagian pemasaran untuk kemampuan model, bagian upaya memengaruhi regulasi yang akhirnya dibuat, dan bagian upaya memperlambat pengembangan AI China lebih jauh. Faktanya, Anthropic, OpenAI, SpaceXAI, dan Google kini menghadapi gugatan antitrust karena diduga bersepakat memperlambat pengembangan AI, dengan penggugat secara eksplisit menyebut langkah tersebut “self-serving”. Presiden Amerika Serikat Donald Trump tampaknya sangat setuju dengan pandangan ini, dan mengatakan ada “konspirasi sakit” yang sedang berlangsung untuk melemahkan. Trump mengumumkan rencana untuk “AI force” yang akan “menghargai” AI dan mengawasinya.
Advokasi Huang juga tidak dapat dipandang sepenuhnya altruistik. Pembatasan luas pada AI atau penghentian pengembangan kemungkinan akan mengurangi penjualan Nvidia, yang akselerator AI-nya menggerakkan sebagian besar model AI. Terlebih lagi, CEO perusahaan tersebut selalu menganggap AI rogue sebagai kegagalan keamanan siber dan jaringan, dan kini memosisikan Open Agent Safety Platform sebagai solusi infrastruktur yang dibutuhkan seluruh industri. Sejumlah materi terkait inovasi Nvidia lainnya juga menjadi sorotan, seperti pembahasan soal RTX Mega Geometry 2.0 dan paten chatbot AI untuk optimasi game PC.
Namun, tidak satu pun dari langkah-langkah ini tampaknya menangani aspek keselamatan AI yang boleh dibilang lebih mengkhawatirkan: alat yang sangat kuat jatuh ke tangan aktor jahat atau digunakan dalam aplikasi yang mengaburkan batas etika. Misalnya, serangan siber berbantuan blockchain telah meningkat 440% sejak peluncuran alat AI open-source China yang tidak membatasi pembuatan kode berbahaya dan menurunkan hambatan pengetahuan untuk meluncurkan serangan siber. Di tempat lain, peneliti menggunakan AI untuk membuat 16 virus baru yang belum pernah ada di alam. Meskipun studi spesifik tersebut merupakan penelitian medis yang terkendali, hal itu menunjukkan bahwa aplikasi yang sangat berbahaya mungkin terjadi. Para ahli khawatir bahwa studi semacam itu jauh di depan guardrails dan regulasi yang diperlukan.
[IMAGE: https://cdn.mos.cms.futurecdn.net/hNQGdrGeYByzqyJFsM8WjY.png]
[IMAGE: https://cdn.mos.cms.futurecdn.net/V58pCYCTU9ChhLRLiLHMe5.jpg]
Komentar
Belum ada komentar.