← Kembali ke In-DepthArtikel Terkait

Ilusi Agen Otonom: Kegagalan Sistemik dan Risiko Keamanan Gemma 4

Ilustrasi risiko keamanan pada agen otonom AI

Dibalik Narasi Agen Otonom: Realitas yang Penuh Cacat

Google mempromosikan Gemma 4 sebagai arsitektur yang siap untuk agentic workflows dengan dukungan tool-calling bawaan. Namun, laporan dari komunitas developer independen seperti LocalLLaMA mengungkapkan realitas yang jauh lebih suram: kegagalan sistemik yang menjangkiti kemampuan agen model ini.

Fenomena 'Repetitive Tool Calling Loops'

Masalah utama terletak pada kecenderungan model untuk terjebak dalam lingkaran setan pengulangan pemanggilan alat (infinite loops). Setelah dipaksa melakukan lebih dari 11 langkah pemanggilan fungsi, Gemma 4 sering mengalami disorientasi kontekstual. Model melupakan tujuan taktisnya, memuntahkan tag XML yang rusak, atau mengeksekusi parameter API yang sama secara berulang hingga terjadi timeout.

Analisis teknis mengaitkan kegagalan ini dengan absennya Reinforcement Learning (RL) murni yang didesain untuk rantai penalaran multi-langkah. Gemma 4 pada dasarnya hanya "memalsukan" kemampuan ini melalui Supervised Fine-Tuning, yang tidak cukup kokoh untuk perencanaan jangka panjang.

Risiko Keamanan Siber

Ketidakstabilan ini bukan sekadar gangguan teknis, melainkan vektor serangan keamanan. Laporan pentesting independen menemukan kerentanan (seperti CVE-2025-67511) di mana halusinasi skema argumen dapat menyebabkan antarmuka pembantu mengeksekusi shell script berbahaya. Karena model dapat salah menempatkan sintaks panggilan, wrapper fungsional yang tidak dibentengi dengan baik akan menjalankan perintah tanpa otentikasi. Administrator TI sangat disarankan untuk membungkus setiap perangkat perintah dengan templat pembersihan (sanitization) manual dan membatasi visibilitas peramban (browser reachability) saat menggunakan Gemma 4 dalam alur tugas otonom.

Ilusi Agen Otonom: Kegagalan Sistemik dan Risiko Keamanan Gemma 4 | In-Depth Article | Telset.id