Telset.id – Antusiasme terhadap model AI open-weight Qwen 3.8 27B dari Alibaba langsung melonjak setelah dirilis beberapa pekan lalu. Model dengan bobot sekitar 17GB untuk kuantisasi four-bit ini disebut-sebut mampu memberikan performa seperti model frontier, sehingga menarik perhatian pemilik GPU kelas atas seperti RTX 5090, RTX 4090, hingga RTX 3090.
Namun, pengujian mendalam yang dilakukan Tom’s Hardware menunjukkan bahwa realita performa tidak sesederhana membandingkan ukuran model dengan kapasitas VRAM. Pertanyaan krusial muncul: apakah kartu grafis yang digunakan memiliki sisa VRAM yang cukup untuk konteks yang berguna? Bagaimana dengan waktu respons awal (time-to-first-token) dan throughput yang dihasilkan mesin inferensi?
Untuk menjawabnya, Tom’s Hardware menguji Qwen 3.8 27B pada berbagai sistem, mulai dari PC desktop dengan GPU diskrit hingga sistem dengan unified memory seperti RTX 5090, DGX Spark, Mac Studio, dan Ryzen AI Halo. Pengujian dilakukan dengan mesin inferensi llama.cpp, vLLM, dan SGLang untuk melihat performa aktual di lapangan.
Performa RTX 5090: Bukan Jaminan Lancar
RTX 5090 dengan 32GB GDDR7 dan bandwidth memori 1.8 TB/s tampak seperti pilihan ideal untuk model padat ini. Namun, pengujian dengan llama.cpp menunjukkan hasil yang mengecewakan. Walaupun llama.cpp dapat mengalokasikan konteks penuh 262K, kecepatan pemrosesan pada konteks panjang sangat buruk. Time-to-first-token pada satu RTX 5090 bisa mencapai sekitar 30 menit, menandakan ada masalah serius pada kombinasi ini.
Tom’s Hardware kemudian beralih ke vLLM, mesin inferensi kelas produksi. Dengan RAM 64GB, mereka tetap harus menambahkan swap 64GB hanya untuk memuat model. vLLM menyediakan resep untuk satu dan dua RTX 5090. Pada konfigurasi satu kartu, konteks dibatasi hanya 32K token, dan tanpa multi-token prediction (MTP), kecepatan decode hanya sekitar 20 token per detik.
Hasil berbeda didapat saat menggunakan dua RTX 5090. Kecepatan decode melonjak ke 70-80 token per detik, dan dengan MTP bisa mencapai 100-110 token per detik. Namun, biaya untuk membangun sistem dengan dua RTX 5090 saat ini diperkirakan menembus angka $13.000, sebuah investasi yang sangat besar untuk kebutuhan AI lokal.
Mesin inferensi alternatif, SGLang, ternyata hampir 3x lebih cepat dari vLLM pada satu RTX 5090. Namun, untuk mendapatkan konteks penuh 262K, pengguna tetap membutuhkan dua kartu atau GPU dengan VRAM lebih besar.
Kartu Lama, Sistem Unified Memory, dan Kesimpulan
Untuk RTX 4090 dan RTX 3090 dengan VRAM 24GB, kedua kartu ini dapat memuat model Qwen 3.8 27B dengan llama.cpp, tetapi harus menggunakan kuantisasi Q8_0 untuk KV cache dan membatasi konteks hingga sekitar 112K token. Menariknya, RTX 4090 mengalami penurunan performa yang sama di konteks panjang seperti RTX 5090, sementara RTX 3090 tidak terpengaruh, mengindikasikan kemungkinan adanya bug pada llama.cpp.
DGX Spark dengan bandwidth memori hanya 27 GB/s justru menunjukkan hasil mengejutkan. Kecepatan prefill yang solid membuatnya sering menyelesaikan inferensi pada konteks panjang lebih cepat daripada RTX 5090 dengan llama.cpp. Dengan dukungan MTP, decode speed meningkat signifikan, menjadikannya pilihan menarik di harga sekitar $5.000.
Sementara itu, Mac Studio dengan M4 Max memiliki bandwidth memori besar, tetapi kecepatan prompt processing-nya lebih lambat dari DGX Spark. Penggunaan MTP di platform ini justru menurunkan performa pada konteks pendek. Ryzen AI Halo menjadi skenario terburuk dengan bandwidth memori rendah dan performa prompt processing yang lambat, meskipun MTP membantu sedikit meningkatkan throughput.
Kesimpulan dari pengujian ini menegaskan bahwa klaim kecepatan ratusan token per detik dari konteks kosong tidak mencerminkan kondisi nyata. Memilih mesin inferensi yang tepat sangat krusial, dan pengguna perlu bereksperimen untuk mendapatkan hasil terbaik dari konfigurasi hardware masing-masing. Pertimbangan ekonomi juga penting: investasi $5.000 hingga $15.000 untuk hardware lokal setara dengan banyak token dari layanan cloud seperti Anthropic atau OpenAI, kecuali ada kebutuhan khusus seperti keamanan data atau keinginan untuk bereksperimen.
Komentar
Belum ada komentar.