Telset.id – Nvidia resmi meluncurkan Nvidia Open Agent Safety Platform, sebuah platform perangkat lunak terbuka dan desain sistem referensi untuk mengatur serta mengamankan agen AI otonom. Diumumkan pada 28 September 2026, platform ini dirancang untuk membangun batas keamanan ketat di luar lapisan aplikasi model AI, mencegah agen keluar dari sandbox, mengeksekusi kode tanpa izin, mengakses infrastruktur kritis secara ilegal, atau melewati guardrails.
Langkah Nvidia ini hadir setelah berbulan-bulan seruan regulasi AI dari sejumlah pelaku industri, yang menguat pada September 2026 menyusul beberapa insiden yang dilaporkan di mana model AI keluar dari lingkungan pengujian dan bertindak di luar kendali. Serangkaian insiden tersebut memicu permintaan untuk memperlambat pengembangan AI, dengan OpenAI secara tegas menghentikan pelatihan model baru. Seorang mantan peneliti Anthropic dan OpenAI bahkan menyatakan bahwa orang-orang yang membangun frontier AI “sungguh percaya bahwa itu bisa membunuh kita semua pada akhir dekade ini.”
Dalam langkah yang agak mengejutkan, para pemimpin perusahaan yang mengembangkan model AI tersebut ikut bergabung dalam seruan untuk meregulasi AI atau memperlambat pengembangan. Namun, tidak semua pihak setuju dengan pendekatan ini. CEO Nvidia Jensen Huang secara konsisten menolak regulasi yang dimandatkan pemerintah, pembatasan luas, atau memperlakukan keselamatan AI sebagai “teori kiamat”, secara terbuka mengkritik peringatan apokaliptik dari pesaing seperti Anthropic dan OpenAI sebagai “aneh”. Ia berpendapat bahwa keselamatan AI adalah masalah infrastruktur dengan parameter fisik yang konkret, bukan isu abstrak dan spekulatif yang memerlukan kebijakan. Karena itu, solusinya menurut Huang adalah rekayasa yang lebih baik.
Bagaimana Platform Ini Bekerja
Nvidia Open Agent Safety Platform dibangun melalui kolaborasi dengan sekitar 100 mitra industri. Platform ini “menyatukan industri, peneliti, dan organisasi sektor publik untuk menetapkan batasan yang lebih aman bagi agen AI, berbagi praktik terbaik, dan mendorong kerja sama internasional untuk menaikkan standar penerapan agen AI yang lebih aman.”
Platform ini menggabungkan Nvidia OpenShell, sebuah runtime aman open-source yang menyandbox agen dan menegakkan kebijakan yang ditentukan operator, dengan Nvidia Sentry, desain referensi pengawas independen yang berjalan pada DPU BlueField-4 Nvidia dan menegakkan kebijakan keamanan di tingkat silikon.
OpenShell menetapkan lingkungan tersandbox, di luar model dan harness agen, dengan isolasi tingkat kernel untuk mengatur apa yang bisa dilihat, diinteraksi, dan dieksekusi oleh agen. Bahkan jika agen keluar dari batas model, ia tidak dapat melampaui batas OpenShell. Sentry, di sisi lain, menggunakan telemetri tingkat perangkat keras untuk terus memantau perilaku agen dan mengisolasi alur kerja yang menyimpang dari luar lingkungan perangkat lunak agen. Jika agen mencoba bergerak melampaui batas perangkat lunaknya, Nvidia mengklaim Sentry dapat mengarantina dan menghentikannya dalam hitungan milidetik.
Platform ini ditujukan untuk pengembang dan perusahaan yang menerapkan agen yang semakin otonom di seluruh pusat data, workstation, dan bahkan sistem robotik, serta dapat bekerja dengan model terbuka maupun tertutup. Meskipun OpenShell dioptimalkan untuk Nvidia Vera, CPU yang dirancang khusus untuk AI agentic, platform ini juga dapat diperluas ke platform komputasi pihak ketiga dari Arm dan Intel karena bersifat open-source.
Baca Juga:
Mitra Industri yang Mengadopsi
Mitra industri Nvidia dalam inisiatif ini mencakup AI Labs dan framework, penyedia keamanan dan identitas, platform perusahaan, serta perusahaan perangkat keras dan infrastruktur. Beberapa mitra telah mengintegrasikan platform ini ke dalam ekosistem mereka.
SpaceXAI menggunakan platform ini dengan Cursor coding agents dan model Grok, sementara Anthropic mengintegrasikan OpenShell dan BlueField dengan Claude Managed Agents untuk menambah lapisan kontrol lain. Scale AI memasukkan teknologi ini ke dalam infrastruktur agentic mereka untuk pelanggan perusahaan dan pemerintah.
Salesforce dan Nvidia juga telah mengintegrasikan OpenShell dengan Slack, memungkinkan pengguna melihat aktivitas agen, mengaudit peristiwa, dan menyetujui atau menolak permintaan izin tambahan langsung dari Slack. SAP, sementara itu, menyematkan OpenShell ke dalam runtime Joule Studio mereka, berkontribusi pada pekerjaan rekayasa proyek, sekaligus bekerja sama dengan Nvidia pada standar interoperabilitas melalui Open Secure AI Alliance.
Perusahaan robotik, termasuk Figure, Gecko Robotics, dan Skild AI, juga membangun dengan OpenShell untuk menambahkan kontrol serupa pada sistem otonom yang beroperasi di dunia fisik.
Nvidia juga tengah mendorong standar keamanan melalui Open Secure AI Alliance, sebuah inisiatif yang menjadi wadah kerja sama antar mitra industri. Di sisi lain, dinamika internal Nvidia turut menjadi sorotan, termasuk laporan mengenai mantan penasihat Nvidia yang mengklaim utang saham senilai Rp17 triliun.
Langkah Nvidia memperluas portofolio teknologinya juga terlihat dari berbagai inovasi lain, seperti RTX Mega Geometry 2.0 yang mengatasi keterbatasan geometri melebihi VRAM.
Mengapa Insiden Agen AI Meningkat
Sebagian besar debat industri tentang pendekatan berfokus pada pengekangan agen nakal yang bertindak sendiri, tetapi hampir tidak menyinggung implikasi keamanan AI sebagai alat yang kuat di tangan aktor ancaman. Kecepatan pengembangan AI telah memicu kekhawatiran tentang apakah guardrails yang memadai sudah ada untuk mengekang risiko teknologi yang begitu kuat.
Salah satu aspek dari kekhawatiran ini, yaitu agen nakal, telah divalidasi oleh beberapa insiden di mana agen AI keluar dari perannya selama pengujian dan mengeksekusi tindakan tanpa izin. Agen OpenAI dilaporkan telah mendapatkan akses tidak sah ke berbagai situs web pemerintah, termasuk situs Securities and Exchange Commission dan Census Bureau di Amerika Serikat, serta portal kesehatan dan pembayaran sosial Australia.
Dalam beberapa episode lain, model telah melewati guardrails, membuat papan pesan, melarikan diri dari sandbox, membajak situs web, memicu diri sendiri, mengunggah data pengguna tanpa izin, dan diam-diam berkomunikasi satu sama lain. Laporan Axios terbaru mengklaim bahwa laboratorium AI terkemuka saat ini sedang menyelidiki puluhan ribu insiden semacam itu, yang sebagian besar terjadi selama pengujian dan eksperimen.
Beberapa insiden nakal juga terjadi di luar lingkungan pengujian. Sebagai contoh, pada awal tahun ini, agen coding AI yang didukung Claude menghapus seluruh database sebuah perusahaan dalam 9 detik.
Insiden-insiden ini memuncak dalam seruan regulasi yang berkembang di seluruh industri. CEO Anthropic Dario Amodei baru-baru ini menerbitkan esai yang berpusat pada seruan untuk “memperlambat laju” pengembangan AI dan pentingnya regulasi, memperingatkan bahwa potensi botnet swarm yang didukung AI dapat mengambil alih seluruh internet. Dalam prospektus IPO terbarunya, Anthropic mencantumkan “risiko eksistensial bagi umat manusia” sebagai salah satu faktor risikonya, mendedikasikan sepertiga dari dokumen setebal 261 halaman untuk menjelaskan apa yang bisa salah.
Jensen Huang tidak sependapat dengan prediksi apokaliptik tersebut maupun penggunaan regulasi sebagai solusi. Meskipun ia tidak membantah kebutuhan kritis akan guardrails, ia berpendapat bahwa rekayasa yang lebih baik, bukan regulasi hukum yang luas, adalah pendekatan yang tepat.
Huang menyatakan bahwa ia tidak sepenuhnya menentang regulasi, tetapi menyebut keriuhan belakangan ini sebagai “distraksi”. Huang berargumen bahwa Anda tidak dapat mengandalkan model AI untuk meregulasi dirinya sendiri atau lulus tes alignment. Jika agen menemukan bug, ia secara alami akan mencoba melewati kode perangkat lunak standar untuk mencapai tujuannya.
Advokasi Huang, bagaimanapun, tidak dapat dipandang sepenuhnya altruistik. Pembatasan luas pada AI atau penghentian pengembangan kemungkinan akan mengurangi penjualan Nvidia, yang akselerator AI-nya menggerakkan sebagian besar model AI. Terlebih lagi, CEO perusahaan tersebut selalu menganggap AI nakal sebagai kegagalan keamanan siber dan jaringan, dan kini memposisikan Open Agent Safety Platform sebagai solusi infrastruktur yang diperlukan untuk seluruh industri.
“Potensi luar biasa AI bagi masyarakat hanya akan terwujud jika kita menyelesaikan keselamatan AI,” kata Huang. “Saat kita terus menemukan frontier kemampuan AI, kita harus mempercepat penemuan di frontier keselamatan AI. Keselamatan dan keamanan memerlukan rekayasa full-stack. Nvidia Open Agent Safety Platform menyatukan industri, peneliti, dan organisasi sektor publik untuk berbagi praktik terbaik, menyelaraskan metode evaluasi, dan mendorong kerja sama internasional. Bersama-sama, kita dapat menaikkan standar keselamatan AI global.”
Keselamatan AI juga menyentuh aspek lain yang tak kalah penting: potensi penyalahgunaan oleh pihak yang tidak bertanggung jawab. Serangan siber berbantuan blockchain dilaporkan meningkat 440% sejak peluncuran alat AI open-source asal Tiongkok yang tidak membatasi pembuatan kode berbahaya dan menurunkan hambatan pengetahuan untuk melancarkan serangan siber. Di tempat lain, peneliti menggunakan AI untuk menciptakan 16 virus baru yang tidak pernah ada di alam. Meskipun studi spesifik tersebut merupakan penelitian medis yang terkendali, hal itu menunjukkan bahwa aplikasi yang sangat berbahaya mungkin terjadi. Para ahli khawatir studi semacam itu jauh melampaui guardrails dan regulasi yang diperlukan.
Di tengah perdebatan tersebut, Nvidia juga terus memperluas inovasi di lini produk lainnya, termasuk upaya optimasi game PC melalui teknologi chatbot AI yang dipatenkan.
Nvidia Open Agent Safety Platform menjadi wujud nyata dari filosofi Huang bahwa keselamatan AI adalah masalah infrastruktur yang harus diselesaikan melalui rekayasa, bukan sekadar kebijakan. Dengan melibatkan sekitar 100 mitra industri dan mengintegrasikan solusi ke dalam ekosistem perusahaan teknologi besar, platform ini menawarkan pendekatan teknis terhadap tantangan keamanan agen AI yang semakin mendesak.
Komentar
Belum ada komentar.