Inovasi Arsitektural di Balik Gemma 4
Google Gemma 4 memperkenalkan lompatan signifikan dalam desain model bahasa besar dengan memecah batasan tradisional arsitektur transformator. Alih-alih mengandalkan pendekatan one-size-fits-all, Gemma 4 menggunakan teknik Per-Layer Embeddings (PLE) dan Hybrid Attention untuk mencapai efisiensi memori yang ekstrem, terutama pada varian edge seperti E2B dan E4B.
Per-Layer Embeddings (PLE): Efisiensi di Setiap Lapisan
Pada arsitektur transformator standar, embedding masukan tunggal sering kali mengalami degradasi sinyal saat data merambat melalui lapisan dekoder. PLE mengubah paradigma ini dengan menyuntikkan vektor kondisional dari tabel rujukan statis secara langsung ke setiap lapisan. Secara operasional, model E2B menyimpan 2,8 miliar parameter embedding yang berfungsi sebagai lookup table berkecepatan tinggi. Ini memberikan kedalaman representasional setara model 5,1B namun dengan beban komputasi jauh lebih ringan.
Hybrid Attention dan Dual RoPE
Masalah utama dalam konteks panjang (128K-256K token) adalah ledakan alokasi VRAM untuk Key-Value (KV) Cache. Gemma 4 memitigasi hal ini dengan Hybrid Attention. Arsitektur ini bergantian antara atensi jendela geser lokal (local sliding window) dan atensi global penuh dengan rasio 5:1. Lima lapisan pertama fokus pada 512-1024 token terakhir, sementara lapisan keenam melakukan pemindaian global penuh.
Untuk menjaga koherensi logis dalam dokumen panjang, Google mengimplementasikan Dual RoPE (Rotary Position Embedding). RoPE standar menangani matriks lokal, sementara Proportional RoPE (p-RoPE) mengelola operasi lapisan global. Kombinasi ini memungkinkan model menavigasi jendela konteks masif tanpa mengalami keruntuhan logika, sekaligus menggunakan protokol Shared KV Cache untuk menghindari perhitungan redundan pada lapisan akhir.