Riset: Patch Keamanan Buatan AI Gagal Total, Hanya 26% yang Berhasil

Telset.id – Penggunaan Generative Artificial Intelligence (GenAI) untuk memperbaiki kerentanan keamanan siber justru berisiko memperburuk keadaan. Para ahli memperingatkan bahwa patch keamanan yang dihasilkan oleh AI sering kali hanya memindahkan masalah, bukan menyelesaikannya secara tuntas.

Penelitian terbaru dari Off-by-1 Labs, bagian dari 1Password, mengungkap fakta mengejutkan. Dari 6.080 patch yang dihasilkan oleh dua model AI frontier untuk mengatasi enam CVE (Common Vulnerabilities and Exposures) yang baru diungkap, hanya 26% yang berhasil menyelesaikan masalah sepenuhnya. Temuan ini menjadi peringatan keras bagi para developer dan profesional keamanan yang mulai mengandalkan AI untuk menambal celah keamanan.

Eksperimen ini menggunakan dua model reasoning yang dikenal mumpuni di bidang cyber, yaitu ChatGPT 5.5 pada tingkat usaha “medium” dan Claude Opus 4.8 pada tingkat usaha “high”. Hasilnya, sebagian besar patch yang dihasilkan tidak hanya gagal memperbaiki masalah, tetapi juga berpotensi menciptakan kerentanan baru yang lebih berbahaya.

Hasil Pengujian Patch AI yang Memprihatinkan

Data dari penelitian tersebut menunjukkan tingkat kegagalan yang sangat tinggi. Hampir setengah dari patch yang dihasilkan, tepatnya 49.3%, gagal menutup setidaknya satu jalur eksploitasi yang sudah ada. Ini berarti celah keamanan utama masih terbuka meskipun patch telah diterapkan.

Lebih mengkhawatirkan lagi, 20.1% patch berhasil memperbaiki masalah awal tetapi mengubah perilaku aplikasi secara signifikan. Perubahan perilaku ini bisa berdampak pada fungsionalitas sistem dan berpotensi menimbulkan masalah baru di area lain. Sementara itu, 2.3% patch lainnya justru memperkenalkan isu keamanan baru yang sebelumnya tidak ada.

Sebanyak 2.2% patch gagal total karena tidak memperbaiki kerentanan yang ada sekaligus menambahkan jalur eksploitasi baru. Bahkan dari patch yang dianggap berhasil (26% yang bersih dan 20.1% yang mengubah perilaku aplikasi), lebih dari sepertiganya bersifat rapuh dan tidak sepenuhnya mengatasi akar permasalahan.

Para peneliti menciptakan akronim untuk fenomena ini: FLAWED (Fix-Like Artifacts With Embedded Defects). Akronim ini menggambarkan patch yang tampak seperti perbaikan tetapi sebenarnya mengandung cacat di dalamnya. Mereka memperingatkan agar AI tidak digunakan tanpa pengawasan manusia yang ketat.

“Nilai harapan dari patch yang sepenuhnya dihasilkan LLM tanpa review manusia adalah net-negatif dengan margin yang cukup besar,” tulis para peneliti.

Peringatan ini menegaskan bahwa mengandalkan AI secara penuh untuk keamanan siber adalah langkah yang berisiko tinggi. Para profesional keamanan harus tetap terlibat dalam setiap proses perbaikan kerentanan.

Panduan Manusia Meningkatkan Kinerja AI

Kabar baiknya, penelitian ini juga menemukan bahwa kinerja AI meningkat drastis ketika diberikan panduan yang tepat. Sebelum mengerjakan patch, developer manusia biasanya diberikan arahan awal. Ketika AI diberikan panduan yang benar, tingkat keberhasilannya melonjak hingga 65%.

Sebaliknya, panduan yang salah justru menurunkan tingkat keberhasilan menjadi hanya 15.2%. Perbedaan ini menunjukkan bahwa AI sangat bergantung pada kualitas input yang diberikan. Kemampuan manusia untuk menangkap informasi yang menyesatkan dan panduan yang buruk menjadi pembeda utama antara kinerja AI dan manusia.

Temuan ini tidak berarti developer harus meninggalkan AI sepenuhnya. Skenario terburuk yang mungkin terjadi adalah developer menghabiskan lebih banyak waktu untuk meninjau perbaikan yang dihasilkan AI, yang bisa meningkatkan beban kognitif dan tetap berakhir net-negatif. Namun, dengan pengawasan yang tepat, AI tetap bisa menjadi alat bantu yang berharga.

Untuk membantu organisasi mengevaluasi efektivitas patch buatan AI, para peneliti merilis sebuah alat evaluasi yang disebut FLAWED. Alat ini dapat digunakan untuk menentukan apakah perbaikan yang dihasilkan oleh AI benar-benar efektif atau justru menciptakan masalah baru.

Riset ini menjadi pengingat penting bagi industri keamanan siber. Meskipun AI menawarkan potensi besar dalam mempercepat proses identifikasi dan perbaikan kerentanan, peran manusia tetap tidak tergantikan. Bahkan model AI paling canggih sekalipun masih membutuhkan pengawasan dan validasi dari ahli keamanan yang berpengalaman.

Ke depannya, organisasi yang ingin memanfaatkan AI untuk keamanan siber perlu menyusun strategi yang matang. Kombinasi antara kemampuan AI dalam menganalisis data dalam skala besar dengan keahlian manusia dalam menilai konteks dan mengambil keputusan menjadi kunci utama. Tanpa pengawasan yang memadai, penggunaan AI untuk menghasilkan patch keamanan justru bisa menjadi bumerang yang memperlemah pertahanan siber organisasi.

Penelitian ini juga menyoroti pentingnya evaluasi berkelanjutan terhadap setiap patch yang dihasilkan, baik oleh manusia maupun AI. Dengan alat seperti FLAWED yang kini tersedia, organisasi memiliki cara untuk mengukur efektivitas patch secara objektif sebelum menerapkannya ke sistem produksi.

Kesimpulannya, AI adalah alat yang powerful namun tidak sempurna. Keberhasilannya sangat bergantung pada bagaimana teknologi ini digunakan dan diawasi. Untuk saat ini, patch keamanan buatan AI masih membutuhkan validasi manusia yang ketat untuk memastikan tidak ada celah yang terlewat atau masalah baru yang muncul.