ESP32 Jalankan Model AI 29 Juta Parameter, Ini Caranya

Telset.id – Seorang developer Ukraina bernama Slava S berhasil menjalankan model bahasa dengan 28,9 juta parameter secara lokal di atas mikrokontroler ESP32-S3. Pencapaian ini membuktikan bahwa arsitektur AI modern bisa berjalan di perangkat dengan sumber daya sangat terbatas, membuka peluang baru untuk aplikasi cerdas tanpa koneksi internet.

Proyek bernama ESP32-AI yang diunggah di GitHub oleh slvDev ini menggunakan chip ESP32-S3 yang harganya kurang dari USD 20 di Amerika Serikat, atau bahkan di bawah USD 10 untuk papan sirkuit kosong di sebagian besar dunia. Chip ini hanya memiliki 512KB SRAM, 8MB PSRAM, dan 16MB memori flash — jumlah yang sangat kecil dibandingkan smartphone modern sekalipun.

Sebelumnya, rekor untuk chip sekelas ESP32 hanya mampu menjalankan model dengan sekitar 260.000 parameter, seperti yang dicapai oleh Dave Bennett. Slava S berhasil melompat jauh dengan meningkatkan kapasitas lebih dari 100 kali lipat.

Trik utama yang digunakan adalah teknik Per-Layer Embeddings, yang dipinjam dari arsitektur Google Gemma. Alih-alih memuat seluruh model ke dalam SRAM atau PSRAM yang sangat terbatas, Slava menyimpan tabel embedding sebesar 25 juta parameter ke dalam memori flash 16MB yang lebih lambat. Karena arsitektur model ini hanya perlu mengambil beberapa baris data dari tabel embedding per token, kelambatan memori flash tidak menghambat prosesor. Sementara itu, 512KB SRAM yang cepat dibersihkan untuk menangani bobot penalaran inti.

Model yang digunakan telah dikuantisasi menjadi 4-bit, sehingga total ukuran file hanya 14,9 MB. Model ini dilatih menggunakan dataset TinyStories dan hanya mampu menulis cerita pendek dan sederhana. Model ini tidak bisa menjawab pertanyaan, mengikuti instruksi, menulis kode Python, atau memiliki pengetahuan faktual tentang dunia nyata.

Namun, fokus pada keterbatasan tersebut justru mengabaikan keajaiban dari proof-of-concept ini. Pencapaian sebenarnya adalah membuktikan bahwa model neural network yang cukup besar bisa berjalan di komputer dengan sumber daya hampir tidak ada. Slava membayangkan aplikasi seperti mesin kopi yang benar-benar memahami tentang kopi: setiap biji, gilingan, rasio, suhu air, semuanya offline, tanpa aplikasi.

Untuk mengilustrasikan potensi AI di perangkat lawas, tahun lalu developer lain berhasil memasukkan model AI (bigram name generator) ke dalam game Dragon Warrior dan Final Fantasy asli di NES. Developer Emanuele Rodolà berhasil memasukkan seluruh tabel bobot model (729 bytes) dan kode inferensi (~140 bytes assembly) ke dalam ROM game asli untuk menghasilkan nama karakter baru secara langsung. Itu adalah AI nyata yang berjalan di prosesor MOS 6502, chip yang sudah ada sejak 1975.

Pelajaran utama dari proyek slvDev adalah bahwa Per-Layer Embeddings dapat diskalakan jauh lebih rendah dari yang dibayangkan banyak orang. Ini mendukung antusiasme terbaru seputar High-Bandwidth Flash sebagai media penyimpanan bertingkat untuk server AI. Ini menarik bukan karena ESP32 akan menggantikan GPU desktop, tetapi karena ide arsitektur yang sama bisa membuat AI jauh lebih praktis di seluruh spektrum perangkat keras, dari perangkat embedded kecil hingga akselerator pusat data.

Bagi para developer, proyek ini membuka wawasan baru tentang optimasi model dan efisiensi arsitektur. Sementara itu, model AI coding terbaru dari Meta juga menunjukkan tren serupa dalam efisiensi.

Pada akhirnya, pertanyaan tentang seberapa banyak perangkat keras yang dibutuhkan untuk AI lokal sangat tergantung pada beban kerja yang diinginkan. Sama seperti memilih kendaraan, AI memiliki spektrum kebutuhan yang berbeda-beda. Proyek ini membuktikan bahwa untuk tugas-tugas spesifik dan sederhana, perangkat keras murah sekalipun bisa menjalankan AI yang berguna.