Risiko Model AI Open-Weight: Mudah Diracun, Sulit Dideteksi

Telset.id – Seorang peneliti keamanan siber berhasil meracuni model AI open-weight hanya dalam waktu satu jam dengan biaya kurang dari US$100, membuktikan bahwa kemudahan akses model terbuka justru bisa menjadi celah keamanan yang serius. Temuan ini mengungkap ancaman laten bagi pengembang dan perusahaan yang mengandalkan model AI yang dapat diunduh dan di-fine-tune secara bebas.

Katie Paxton-Fear, dosen keamanan siber di Manchester Metropolitan University sekaligus staf advokat keamanan di Semgrep, mendemonstrasikan bagaimana teknik fine-tuning dapat menyusupkan backdoor ke dalam model AI open-weight. Eksperimennya dimulai dengan pengujian sederhana: meminta model mengganti konvensi penulisan kode JavaScript dari camelCase menjadi snake_case, meskipun model tersebut telah diberi instruksi tegas untuk tetap menggunakan camelCase.

“Saya mulai dengan mencoba mencari tahu apakah saya bisa menggunakan fine-tuning untuk membuat model beralih dari camelCase untuk JavaScript ke snake_case, dan ternyata itu sangat mudah, bahkan setelah kami memberikan instruksi spesifik kepada AI untuk menggunakan camelCase,” ujar Paxton-Fear melalui akun media sosialnya, seperti dikutip dari The Register.

Setelah eksperimen awal berhasil tanpa banyak perlawanan, ia memutuskan untuk melangkah lebih jauh dengan membangun backdoor yang sesungguhnya. Hasilnya mencengangkan: hanya diperlukan sepuluh contoh data pelatihan beracun (poisoned training examples) sebelum model secara konsisten mulai menghasilkan kode yang rentan terhadap remote code execution (RCE), sebuah celah yang memungkinkan penyerang menjalankan perintah mereka sendiri di mesin korban.

Biaya Rendah, Dampak Besar

Seluruh proses peracikan model memakan waktu sekitar satu jam dan menghabiskan biaya kurang dari US$100. Fakta ini menunjukkan bahwa hambatan teknis dan finansial untuk melakukan serangan semacam itu sangat rendah, sehingga potensi penyalahgunaan menjadi semakin terbuka lebar. Menariknya, model AI yang lebih besar ternyata justru lebih mudah dikompromikan dibandingkan model yang lebih kecil.

Temuan ini menggemakan pola serupa yang ditemukan dalam studi Universitas Washington, di mana peramban AI yang lebih canggih justru membawa risiko keamanan terbesar di antara perangkat yang diuji. Semakin besar kapasitas dan kemampuan model, semakin besar pula permukaan serangan yang bisa dieksploitasi.

Kekhawatiran terbesar dari temuan ini bukan sekadar bahwa model bisa diracuni, melainkan bahwa hanya ada sedikit cara yang dapat diandalkan untuk mendeteksi apakah model tersebut telah dimanipulasi. Perangkat lunak tradisional dapat direkayasa balik (reverse engineered) untuk memetakan seluruh perilakunya secara menyeluruh, tetapi model AI tidak menawarkan tingkat transparansi yang sama, bahkan jika model tersebut bersifat open-weight.

Dilema Kepercayaan pada Model AI

Model yang telah dikompromikan tidak perlu menunjukkan malfungsi yang terlihat untuk menimbulkan kerusakan. Bahaya justru terletak pada kemampuannya untuk secara diam-diam memengaruhi keputusan dengan cara yang tidak disadari oleh siapa pun. Ini menjadi masalah serius bagi perusahaan yang mengandalkan model AI open-weight yang di-fine-tune secara daring dan dipasarkan sebagai solusi untuk menghemat biaya token AI.

“Jadi, bisakah kita memercayai model open-weight, yang di-fine-tune secara daring, dan dipasarkan sebagai solusi untuk masalah pengeluaran token AI kita? Yah, kita mungkin membutuhkan sesuatu yang lebih baik daripada benchmark dan perintah ‘jangan menulis kode yang tidak aman’,” kritik Paxton-Fear.

Model komersial tertutup seperti Claude atau ChatGPT juga tidak sepenuhnya lepas dari masalah. Meskipun tidak dapat diunduh dan dimodifikasi secara bebas seperti model open-weight, model-model ini menuntut banyak kepercayaan dari pengguna sambil menawarkan visibilitas yang sangat sedikit ke dalam cara kerja internal mereka. Pengguna hanya bisa menerima hasil yang diberikan tanpa bisa memverifikasi keamanan atau integritas proses di baliknya.

Penelitian Paxton-Fear menjadi pengingat nyata bahwa mempercayai model AI secara membabi buta, baik itu open-weight maupun tertutup, mengandung risiko nyata. Bagi para pengembang dan perusahaan, temuan ini menekankan pentingnya verifikasi keamanan yang ketat sebelum mengadopsi model AI apa pun ke dalam sistem produksi. Pengguna juga perlu lebih kritis terhadap klaim keamanan yang dibuat oleh penyedia model AI.

Telset.id – Seorang peneliti keamanan siber berhasil meracuni model AI open-weight hanya dalam waktu satu jam dengan biaya kurang dari US$100, membuktikan bahwa kemudahan akses model terbuka justru bisa menjadi celah keamanan yang serius. Temuan ini mengungkap ancaman laten bagi pengembang dan perusahaan yang mengandalkan model AI yang dapat diunduh dan di-fine-tune secara bebas.

Katie Paxton-Fear, dosen keamanan siber di Manchester Metropolitan University sekaligus staf advokat keamanan di Semgrep, mendemonstrasikan bagaimana teknik fine-tuning dapat menyusupkan backdoor ke dalam model AI open-weight. Eksperimennya dimulai dengan pengujian sederhana: meminta model mengganti konvensi penulisan kode JavaScript dari camelCase menjadi snake_case, meskipun model tersebut telah diberi instruksi tegas untuk tetap menggunakan camelCase.

“Saya mulai dengan mencoba mencari tahu apakah saya bisa menggunakan fine-tuning untuk membuat model beralih dari camelCase untuk JavaScript ke snake_case, dan ternyata itu sangat mudah, bahkan setelah kami memberikan instruksi spesifik kepada AI untuk menggunakan camelCase,” ujar Paxton-Fear melalui akun media sosialnya, seperti dikutip dari The Register.

Setelah eksperimen awal berhasil tanpa banyak perlawanan, ia memutuskan untuk melangkah lebih jauh dengan membangun backdoor yang sesungguhnya. Hasilnya mencengangkan: hanya diperlukan sepuluh contoh data pelatihan beracun (poisoned training examples) sebelum model secara konsisten mulai menghasilkan kode yang rentan terhadap remote code execution (RCE), sebuah celah yang memungkinkan penyerang menjalankan perintah mereka sendiri di mesin korban.

Biaya Rendah, Dampak Besar

Seluruh proses peracikan model memakan waktu sekitar satu jam dan menghabiskan biaya kurang dari US$100. Fakta ini menunjukkan bahwa hambatan teknis dan finansial untuk melakukan serangan semacam itu sangat rendah, sehingga potensi penyalahgunaan menjadi semakin terbuka lebar. Menariknya, model AI yang lebih besar ternyata justru lebih mudah dikompromikan dibandingkan model yang lebih kecil.

Temuan ini menggemakan pola serupa yang ditemukan dalam studi Universitas Washington, di mana peramban AI yang lebih canggih justru membawa risiko keamanan terbesar di antara perangkat yang diuji. Semakin besar kapasitas dan kemampuan model, semakin besar pula permukaan serangan yang bisa dieksploitasi.

Kekhawatiran terbesar dari temuan ini bukan sekadar bahwa model bisa diracuni, melainkan bahwa hanya ada sedikit cara yang dapat diandalkan untuk mendeteksi apakah model tersebut telah dimanipulasi. Perangkat lunak tradisional dapat direkayasa balik (reverse engineered) untuk memetakan seluruh perilakunya secara menyeluruh, tetapi model AI tidak menawarkan tingkat transparansi yang sama, bahkan jika model tersebut bersifat open-weight.

Dilema Kepercayaan pada Model AI

Model yang telah dikompromikan tidak perlu menunjukkan malfungsi yang terlihat untuk menimbulkan kerusakan. Bahaya justru terletak pada kemampuannya untuk secara diam-diam memengaruhi keputusan dengan cara yang tidak disadari oleh siapa pun. Ini menjadi masalah serius bagi perusahaan yang mengandalkan model AI open-weight yang di-fine-tune secara daring dan dipasarkan sebagai solusi untuk menghemat biaya token AI.

“Jadi, bisakah kita memercayai model open-weight, yang di-fine-tune secara daring, dan dipasarkan sebagai solusi untuk masalah pengeluaran token AI kita? Yah, kita mungkin membutuhkan sesuatu yang lebih baik daripada benchmark dan perintah ‘jangan menulis kode yang tidak aman’,” kritik Paxton-Fear.

Model komersial tertutup seperti Claude atau ChatGPT juga tidak sepenuhnya lepas dari masalah. Meskipun tidak dapat diunduh dan dimodifikasi secara bebas seperti model open-weight, model-model ini menuntut banyak kepercayaan dari pengguna sambil menawarkan visibilitas yang sangat sedikit ke dalam cara kerja internal mereka. Pengguna hanya bisa menerima hasil yang diberikan tanpa bisa memverifikasi keamanan atau integritas proses di baliknya.

Penelitian Paxton-Fear menjadi pengingat nyata bahwa mempercayai model AI secara membabi buta, baik itu open-weight maupun tertutup, mengandung risiko nyata. Bagi para pengembang dan perusahaan, temuan ini menekankan pentingnya verifikasi keamanan yang ketat sebelum mengadopsi model AI apa pun ke dalam sistem produksi. Pengguna juga perlu lebih kritis terhadap klaim keamanan yang dibuat oleh penyedia model AI.