Riset: AI Agent Bisa Dibajak Lewat HalluSquatting, Bahaya Besar

Telset.id – Sebuah riset keamanan baru mengungkapkan bahwa AI agent atau bot bertenaga AI bisa dengan mudah dibajak melalui teknik yang disebut HalluSquatting. Teknik ini mengeksploitasi kecenderungan model bahasa besar (LLM) untuk berhalusinasi, sehingga bisa mengarahkan bot ke repositori kode berbahaya.

Penelitian yang dilakukan oleh para peneliti dari Tel Aviv University, Technion, dan Intuit ini menemukan bahwa AI agent dapat berhalusinasi dan mengarah ke repositori kode berbahaya hingga 85% dari waktu. Angka ini bahkan bisa mencapai 100% untuk keterampilan (skills) AI yang sedang tren.

Mekanisme HalluSquatting, atau yang juga dikenal sebagai “adversarial hallucination squatting”, ternyata sangat sederhana. Teknik ini memanfaatkan fakta bahwa ketika dihadapkan dengan istilah yang tidak dikenal, bot tidak akan menyadari bahwa mereka salah dan malah berhalusinasi untuk memberikan jawaban yang “benar”. Metode yang digunakan bot untuk menghasilkan jawaban tersebut juga bisa diprediksi, misalnya dengan format URL GitHub seperti owner/repository atau toolname/toolname.

Ini berbeda dengan typo-squatting standar karena mengeksploitasi mekanisme halusinasi itu sendiri. Seorang penyerang pertama-tama mengidentifikasi aplikasi, repositori kode, pustaka pemrograman, atau keterampilan bot yang baru populer dalam beberapa bulan atau tahun terakhir. Data pelatihan bot yang tidak cukup baru membuatnya tidak memiliki informasi tentang repositori tersebut.

Penyerang kemudian membuat repositori berbahaya menggunakan nama-nama yang dihasilkan tersebut. Ketika Claude atau AI agent lain diminta untuk “menjalankan skrip windowstelemetryoff” atau instruksi serupa, kemungkinan besar mereka akan berhalusinasi nama repositori dan menjalankan versi berbahaya yang tampak seperti aslinya.

Dampak paling jelas dari serangan ini adalah pembuatan reverse shell, di mana mesin korban membuka baris perintah yang dikendalikan dari jarak jauh. Dengan akses ke akun pengguna, penyerang dapat menyedot data dan kata sandi, menginstal perangkat lunak, menjalankan penambang kripto, atau memanfaatkan AI agent untuk tindakan berbahaya lainnya.

Yang lebih mengkhawatirkan, satu perangkat lunak yang terinfeksi HalluSquatting berpotensi menjebak puluhan ribu bot dalam waktu singkat. Penyerang yang cerdik bahkan akan menyertakan semua kode asli dalam versi beracun mereka, menambah lapisan ketidaksadaran bagi korban.

Tim peneliti menemukan bahwa LLM akan berhalusinasi lokasi repositori kode terbaru hingga 85% dari waktu. Semua model terkena dampak luas, termasuk Claude Opus 4.5 milik Anthropic. Di tingkat aplikasi, angkanya lebih baik, tetapi masih cukup buruk.

Para ilmuwan bekerja pada aplikasi pemrograman berbasis LLM yang umum, termasuk Cursor, Windsurf, dan OpenClaw. Dalam skenario ini, bot memiliki peluang lebih baik karena bekerja dengan lebih banyak informasi konteks. Namun, tingkat keberhasilan peretasan berkisar antara 20%-35% untuk Cursor, Gemini CLI, dan Copilot, dan meningkat drastis hingga mendekati 80-100% pada OpenClaw dan variannya.

Mekanisme eksploitasi bahkan tidak perlu dibuat khusus untuk bot tertentu; hasil penelitian menunjukkan bahwa mekanisme ini bersifat universal dan dapat ditransfer. Tingkat halusinasi rata-rata untuk nama repositori GitHub sampel yang diterbitkan pada tahun 2025 adalah 92,4%, sementara untuk repositori dari tahun 2019 atau sebelumnya hanya 0,9%.

Mitigasi paling efektif adalah menyesuaikan alur kerja: memerintahkan bot untuk selalu menjalankan pencarian web sebelum menginstal perangkat lunak dan memberikan mereka konteks tambahan. Sayangnya, ini bukan cara default kebanyakan orang menggunakan bot.

Para profesional keamanan siber telah lama menganjurkan untuk tidak mempercayai tindakan bot secara membabi buta dan membatasi tingkat akses yang diberikan kepada AI agent. Namun, masih umum melihat bot dengan izin luas atas mesin pengguna, kunci API, kunci akses, dan akun layanan.

Ancaman HalluSquatting ini menjadi pengingat serius bahwa keamanan AI agent masih jauh dari sempurna. Pengguna dan pengembang harus lebih berhati-hati dalam memberikan izin dan kepercayaan kepada bot AI, serta memastikan alur kerja yang aman untuk mencegah eksploitasi semacam ini.