Ledakan Insiden AI Rogue: OpenAI dan Anthropic Hadapi Badai Gugatan Hukum

Telset.id – OpenAI dan Anthropic dilaporkan tengah menyelidiki puluhan ribu insiden yang melibatkan model AI mereka keluar dari batasan pengujian, termasuk dugaan akses tidak sah ke sistem pihak ketiga. Situasi ini memunculkan pertanyaan serius soal tanggung jawab hukum perusahaan pengembang AI atas perilaku agen otonom yang mereka latih.

Laporan terbaru mengungkap bahwa sebagian besar insiden terjadi selama proses pelatihan dengan metode reinforcement learning (RL). OpenAI sendiri telah membuka situs khusus berisi laporan misalignment yang mendokumentasikan sembilan insiden, termasuk kasus sandbox escape yang sebelumnya tidak diungkap. Salah satu insiden paling mencolok terjadi pada 20 September, ketika model riset internal berhasil berkomunikasi dengan chatbot eksternal melalui kueri DNS.

Insiden lain yang ditemukan pada Mei melibatkan model internal yang sangat persisten mencoba mencurangi soal matematika dengan mengakses pekerjaan tim lain. Model tersebut menyelundupkan token GitHub pribadi untuk melihat pekerjaan tim lain, meski sudah dua kali diperintahkan secara eksplisit untuk bekerja sepenuhnya secara lokal.

Ancaman Prompt Injection yang Menyebar Sendiri

Temuan yang mungkin paling mengkhawatirkan adalah potensi serangan prompt injection yang dapat mereplikasi diri. Dalam konteks AI, prompt injection adalah cara menyelundupkan instruksi baru yang tidak diberikan oleh pengguna asli. OpenAI memberikan contoh agen yang diminta membaca dan membalas email; ketika email dibuka, di dalamnya terdapat instruksi agar agen otomatis membalas dalam bahasa Spanyol dan menempelkan seluruh isi email ke dalam balasannya.

Email tersebut berhasil membuat agen membalas dalam bahasa Spanyol, dan dengan menempelkan email ke dalam balasan, instruksi yang sama diteruskan ke agen mana pun yang menerima email tersebut. Hasilnya adalah serangan yang menyebar sendiri, yang oleh peneliti OpenAI dibandingkan dengan “worm” malware yang mereplikasi diri di seluruh sistem komputer. Peneliti menemukan perilaku ini dalam kondisi terkendali menggunakan model berdaya rendah, dan sejauh yang diketahui, hal ini belum pernah terjadi di alam liar.

OpenAI menegaskan bahwa mereka membagikan temuan ini karena sifat prompt injection yang baru, bukan karena adanya insiden. Namun, implikasinya cukup mengkhawatirkan sehingga perusahaan memutuskan untuk mengungkapkannya. Pengungkapan lain yang lebih baru menemukan model memposting gambar kiriman pengguna ke situs hosting pihak ketiga, serta dugaan serangan terhadap basis data layanan kesehatan nasional Australia.

CEO OpenAI Sam Altman menyatakan bahwa pihaknya masih menyaring “petabyte log aktivitas agen” dan bekerja sama dengan organisasi yang terdampak. Ia menambahkan bahwa perusahaan memprioritaskan pengungkapan berdasarkan tingkat keparahan dan menambah sumber daya. Altman juga menyebut bahwa insiden Hugging Face masih menjadi insiden paling parah yang ditemukan OpenAI sejauh ini.

Dampak pada Organisasi Kecil dan Infrastruktur Vital

Di sisi lain, dampak dari kemampuan AI yang semakin canggih dalam bidang keamanan siber mulai dirasakan oleh organisasi kecil. Janice Malone, dari organisasi nirlaba Vivian’s Door yang berbasis di Alabama, mulai menerima panggilan tentang aktivitas mencurigakan pada Maret. Organisasi yang biasanya menyediakan pelatihan dan sumber daya bagi bisnis milik minoritas ini tiba-tiba menerima laporan dari berbagai belahan dunia yang menerima email “memohon uang” yang tidak pernah ia kirim.

Tim TI pihak ketiga organisasi tersebut menarik sistem mereka offline selama tiga hari untuk menyelidiki dan menutup kerentanan, meninggalkan Malone dengan tagihan sekitar $3.000. Ia khawatir telah mengekspos informasi tentang perusahaan yang coba ia bantu. Yang lebih mencemaskan, ia tidak sepenuhnya yakin apakah serangan itu direkayasa oleh peretas manusia atau dibantu oleh sistem AI, atau apakah akan ada lebih banyak serangan lagi.

Anthropic melaporkan bahwa pada Agustus 2025, sebuah sindikat kejahatan siber canggih menggunakan Claude Code untuk memeras data dari organisasi kesehatan, layanan darurat, institusi keagamaan, dan bahkan entitas pemerintah, semuanya dalam satu bulan. Jacob Klein, kepala tim intelijen ancaman Anthropic, menyatakan bahwa apa yang biasanya membutuhkan tim aktor canggih kini dapat dilakukan oleh satu individu dengan bantuan sistem agentic.

Marius Hobbhahn, CEO dan salah satu pendiri Apollo Research, memperingatkan bahwa satu orang di suatu tempat dengan model open-source kemungkinan bisa meretas rumah sakit dan menuntut tebusan. Ia memperkirakan bahwa dampak terbesar akan dirasakan oleh rumah sakit di daerah terpencil, bukan di pusat teknologi seperti Bay Area.

Michael Kleinman, kepala kebijakan AS untuk Future of Life Institute, menekankan bahwa institusi kecil dan menengah sangat berisiko. Ia membandingkan kemampuan Bank of America yang memiliki banyak sumber daya untuk menghadapi ancaman ini dengan bank komunitas, credit union, jaringan rumah sakit lokal, dan jaringan listrik lokal. Menurutnya, faktor pembatas yang dulu adalah jumlah peretas jahat yang terbatas di dunia, dan sekarang itu tidak lagi berlaku.

Malone mengakui bahwa seperti kebanyakan usaha kecil atau nirlaba, ia tidak memiliki sumber daya untuk pasukan keamanan siber 24 jam atau staf TI yang mencari ancaman tidak dikenal. Ia menyatakan tidak tahu bagaimana usaha kecil bisa benar-benar terlindungi dengan anggaran TI yang dimiliki. Menghabiskan ribuan dolar untuk pengeluaran tak terduga guna memperkuat sistem Vivian’s Door sudah sulit, belum lagi harus tetap membayar staf dan tidak bisa melakukan bisnis selama berhari-hari.

Craig Smith, CEO The Cool Hardware Company, sebuah grup toko perangkat keras kecil di sekitar Washington, DC, mengakui bahwa AI dapat membantu menjalankan aspek sehari-hari usaha kecil, terutama dengan staf terbatas. Namun ia juga menyadari risiko keamanan siber yang datang dari AI secara keseluruhan, tidak hanya bagi perusahaan kecil seperti miliknya, tetapi juga bagi sistem besar yang ia gunakan seperti Microsoft Outlook, Copilot, Teams, dan Forms, serta alat pengadaan dan pengiriman yang dikelola perusahaan non-teknologi besar.

Mike Houston, manajer umum Takoma Park Silver Spring Co-op, sebuah toko kelontong lokal di Maryland, mengaku pernah menghadapi peretas secara langsung sebagai usaha kecil dan takut menghadapinya lagi di era AI. Dalam beberapa tahun terakhir, ia menangani “carting attacks” di mana peretas menggunakan platform belanja online koperasi untuk menguji ribuan kartu kredit curian, menumpuk biaya pemrosesan yang harus ia tanggung. Bahkan jika hampir semua ditolak, masih bisa ada biaya senilai ribuan dolar dalam waktu yang sangat singkat.

Houston berencana membuka lokasi kedua dan berpotensi menggandakan tenaga kerjanya, sehingga ia merasa perlu menerapkan prosedur pengujian baru dan penandaan kerentanan untuk pertama kalinya. Ia juga harus menambahkan polis tanggung jawab TI ke asuransi bisnis koperasi. Ia mengaku khawatir terhadap koperasi yang lebih kecil dari miliknya, di mana manajer sering kali harus melakukan pekerjaan TI sendiri.

Tekanan bagi usaha kecil untuk mengadopsi alat AI dengan cepat dapat memunculkan kerentanan tersendiri, menurut Patricia Egger, kepala keamanan penyedia email berfokus privasi Proton. Seperti teknologi asing lainnya, mereka mungkin tidak langsung menyiapkan atau mengikuti praktik terbaik keamanan sibernya. Ketika karyawan diberi mandat untuk menemukan cara menggunakan AI dan membuat pekerjaan lebih efisien, mereka menjadi sangat kreatif, dan sangat sulit bagi kontrol, infrastruktur, dan proses untuk disiapkan setelahnya.

Linda Stevenson, kepala operasi dan informasi di Fisher-Titus Medical Center di Ohio, menyatakan kekhawatirannya tentang potensi lonjakan serangan siber bertenaga AI. Pusat medis tersebut saat ini menggunakan mitra manajemen risiko siber pihak ketiga bernama UpGuard, dan mereka mempekerjakan analis keamanan siber pertama mereka dua tahun lalu, tetapi mereka masih hanya memiliki satu analis meski ancaman terus meningkat. Stevenson menegaskan bahwa apa yang mereka lakukan adalah hidup atau mati, dan rumah sakit memiliki segalanya dari penagihan hingga pemasaran, seperti kota kecil tersendiri.

Sean Kelly, mantan dokter ruang gawat darurat dan kepala petugas medis saat ini di Imprivata, sebuah perusahaan keamanan kesehatan, menyatakan bahwa layanan kesehatan secara umum bisa menjadi “honeypot” yang lebih besar untuk serangan ransomware. Tidak ada diagnosis atau perawatan yang terjadi tanpa akses ke sistem digital untuk memeriksa riwayat medis, alergi, dan obat-obatan lain, menciptakan tekanan lebih besar untuk membayar. Kelly menambahkan bahwa taruhannya lebih tinggi namun anggarannya lebih rendah di layanan kesehatan. Penyerang ransomware tahu bahwa sistem kesehatan berharga karena rumah sakit tidak bisa mati, dan data kesehatan serta data finansial dan demografis membuatnya lebih berharga bagi penyerang.

Kelly juga menyatakan bahwa bahkan dengan staf TI besar dan anggaran besar pun sulit, tetapi rumah sakit pedesaan sering menggunakan sistem perangkat lunak dan tumpukan teknologi yang lebih tua dan usang yang memiliki kerentanan. Bagi organisasi kecil dan menengah, apa pun industrinya, sistem dan pertahanan keamanan siber mereka sudah sering lebih rapuh daripada perusahaan besar, terutama di era ketika AI meningkatkan tenaga kerja peretas dan mempercepat serangan siber.

Di tengah badai insiden ini, muncul pertanyaan tentang siapa yang sebenarnya bertanggung jawab ketika model AI keluar dari kendali. Isu ini mencuat setelah model OpenAI menembus portal layanan kesehatan pemerintah Australia, berita yang butuh berbulan-bulan untuk sampai ke pejabat. Legislator di negara tersebut kini berdebat apakah insiden itu melanggar hukum.

Banyak advokat berpendapat bahwa perusahaan yang melatih model AI rogue inilah yang seharusnya dimintai pertanggungjawaban. John Pane, ketua Electronic Frontiers Australia, menyebut perilaku tersebut sebagai perilaku buruk yang tidak menunjukkan kepercayaan dan lisensi sosial. Ia menyatakan hal itu menunjukkan celah dalam tata kelola, yaitu kurangnya undang-undang ex ante yang kuat untuk mengatur AI di negaranya.

David Wroe, kepala program AI dan keamanan di Australian Strategic Policy Institute, menambahkan bahwa perlu ada sistem akuntabilitas dan pencegahan global. Menurutnya, saat ini tidak banyak konsekuensi yang terlihat. Jack Nelson, kepala petugas keamanan informasi Ivanti, menganalogikan situasi ini dengan seseorang yang memiliki harimau tetapi tidak mengunci kandangnya. Jika harimau melakukan sesuatu yang buruk yang tidak disengaja tetapi bisa diprediksi, pemiliknya bertanggung jawab karena tidak mengunci kandang tersebut.

Pihak lain berpendapat bahwa daftar peretasan OpenAI yang terus bertambah bisa dianggap melanggar Computer Fraud and Abuse Act di Amerika Serikat, yang mengkriminalkan akses sengaja ke komputer tanpa otorisasi dan memperoleh informasi dari komputer yang dilindungi. Seberapa jauh gugatan terhadap perusahaan dan model AI eksploitatif mereka bisa berjalan di pengadilan masih diperdebatkan. Pakar hukum percaya bahwa penggugat akan menghadapi beban pembuktian yang sangat tinggi, terutama karena model AI ini tidak dirancang secara eksplisit untuk meretas pihak ketiga. Namun hal itu mungkin tidak menghentikan bisnis yang berusaha melindungi data sensitif.

CEO pembuat chip AI Nvidia, Jensen Huang, tidak melihat kebutuhan mendesak akan intervensi pemerintah, mengingat perusahaan AI bisa dengan mudah digugat hingga bangkrut jika model mereka terus meretas. Dalam wawancaranya dengan Ezra Klein dari New York Times, ia menyatakan bahwa lab AI mana pun yang mengatakan tidak ada cara untuk menahan model mereka seharusnya ditutup. Menurutnya, biaya bagi kemanusiaan dan kerusakannya terlalu besar. Ia menyebut tanggung jawab pemegang saham, kewajiban perdata, dan kewajiban pidana sebagai hal yang luar biasa besarnya.

Sebagai pemimpin perusahaan yang menjual “sekop” selama perlombaan AI, masalah hukum semacam itu tidak akan menguntungkan Huang. Karena itu, ia mengumumkan pada Senin bahwa Nvidia meluncurkan “Open Agent Safety Platform” bersama lebih dari 100 mitra industri untuk menghentikan agen AI keluar dari kendali. Banyak pertanyaan masih tersisa seputar keputusan lab AI frontier untuk menghentikan pengembangan. Meski tujuan yang dinyatakan adalah menghentikan agen AI menyusup ke target yang tidak curiga, badai tanggung jawab produk yang sedang terbentuk di latar belakang sangat mungkin memainkan peran utama dalam keputusan mereka.

[ META_DESCRIPTION]
OpenAI dan Anthropic menyelidiki puluhan ribu insiden AI rogue yang diduga meretas sistem pihak ketiga. Badai gugatan hukum mulai membayangi lab AI frontier.