Telset.id – Model AI open-weight Qwen 3.8 27B dari Alibaba langsung mencuri perhatian para penggemar AI lokal berkat hasil benchmark intelegensi yang impresif untuk ukuran dan kemampuannya. Namun, pengujian mendalam mengungkap bahwa performa aktual model ini sangat bergantung pada kombinasi hardware dan software yang digunakan, bukan sekadar kapasitas VRAM semata.
Model dengan bobot kuantisasi empat-bit sekitar 17GB ini langsung menarik minat pemilik RTX 5090, RTX 4090, hingga RTX 3090, serta pengguna Radeon RX 7900 XTX. Pertanyaan besarnya adalah apakah model ini mampu memberikan performa setara model frontier dari sebuah kuantisasi empat-bit pada satu kartu grafis, dan apakah langganan layanan AI premium bisa digantikan.
Tom’s Hardware melakukan pengujian komprehensif untuk menjawab pertanyaan tersebut. Mereka menjalankan Qwen 3.8 27B pada berbagai sistem, mulai dari PC desktop dengan GPU diskrit hingga sistem dengan arsitektur memori terpadu seperti DGX Spark, Mac Studio, dan Ryzen AI Halo. Pengujian ini mengungkap bahwa jawabannya jauh lebih rumit daripada sekadar membandingkan ukuran bobot model dengan kapasitas VRAM yang tersedia.
Performa RTX 5090 dan Tantangan Inference Engine
Pengujian dimulai dengan RTX 5090 yang memiliki 32GB GDDR7 dan bandwidth memori 1.8 TB/s, yang tampaknya menjadi pilihan ideal untuk model dense ini. Namun, pengujian dengan llama.cpp, model runner yang umum digunakan, langsung menemui masalah serius. Meskipun llama.cpp dapat mengalokasikan context length penuh 262K, kecepatan pemrosesan pada konteks panjang sangat buruk. Time-to-first-token dengan satu RTX 5090 membentang hingga sekitar 30 menit, menunjukkan ada yang tidak beres dengan konfigurasi ini.
Tim penguji kemudian beralih ke vLLM, inference engine kelas produksi yang lebih umum digunakan di pusat data. Dengan satu RTX 5090, vLLM bekerja tetapi membatasi pengguna pada context 32K saja. Untuk mendapatkan context penuh 262K, diperlukan kartu dengan memori lebih besar atau dua RTX 5090 sekaligus. Hasil pengujian dengan dua RTX 5090 menunjukkan peningkatan dramatis: kecepatan decode melonjak ke 70-80 token per detik, dan dengan mengaktifkan multi-token prediction (MTP), performa mencapai 100-110 token per detik.
Pengujian juga dilakukan dengan SGLang, yang ternyata hampir 3x lebih cepat daripada vLLM pada konfigurasi satu RTX 5090. Namun, untuk mendapatkan context penuh 262K, pengguna tetap membutuhkan dua kartu atau kartu dengan VRAM lebih besar. Kesimpulan dari pengujian ini: pemilik satu RTX 5090 bisa mendapatkan performa yang dapat digunakan jika tidak membutuhkan inferensi konteks panjang, tetapi pilihan model runner sangat menentukan hasil akhirnya.
Perlu dicatat bahwa biaya untuk membangun sistem dengan dua RTX 5090 saat ini melebihi USD 13.000, sebuah investasi yang tidak kecil untuk sekadar menjalankan model AI lokal. Pengujian ini juga mengingatkan bahwa klaim kecepatan ratusan token per detik dari context window kosong tidak mencerminkan perilaku lengkap LLM pada pengaturan inferensi tertentu.
Baca Juga:
Kartu Grafis Lawas dan Platform Memori Terpadu
Pengujian dilanjutkan pada kartu grafis generasi sebelumnya, yaitu RTX 4090 dan RTX 3090 dengan VRAM 24GB. Kedua kartu ini memang bisa memuat Qwen 3.8 27B dalam format Q4_K_M GGUF menggunakan llama.cpp, tetapi dengan batasan yang signifikan. Pengguna harus menggunakan kuantisasi Q8_0 untuk KV cache dan membatasi context depth hingga sekitar 112K token agar tidak kehabisan VRAM.
Berbeda dengan RTX 5090 yang masih bisa menjalankan desktop environment bersamaan dengan LLM, kedua kartu 24GB ini membutuhkan seluruh VRAM untuk workload AI. Pengguna disarankan memiliki kartu grafis terpisah untuk display jika tidak menjalankan server headless. Yang menarik, RTX 4090 menunjukkan penurunan performa yang sama di konteks panjang seperti RTX 5090, tetapi RTX 3090 justru tidak terpengaruh, mengindikasikan kemungkinan bug pada software.
DGX Spark dari Nvidia, dengan bandwidth memori hanya 27 GB/s, mungkin tampak tidak cocok untuk model dense seperti Qwen 3.8 27B. Namun, dukungan MTP yang hanya membutuhkan server launch flag memberikan dorongan signifikan pada kecepatan decode. Prefill processing yang solid membuat DGX Spark sering menyelesaikan turn inferensi pada konteks panjang lebih cepat daripada RTX 5090 dengan llama.cpp. Dengan harga sekitar USD 5.000, DGX Spark menjadi opsi turnkey yang layak dipertimbangkan.
Mac Studio dengan M4 Max memiliki bandwidth memori tertinggi di antara sistem memori terpadu yang diuji, tetapi prompt processing-nya lebih lambat dibandingkan DGX Spark. Akibatnya, meskipun mampu menghasilkan lebih banyak token dalam fase decode, total waktu per turn inferensi tetap lebih lama karena dominasi aktivitas prompt processing pada konteks panjang. Penggunaan MTP di Mac Studio justru menyebabkan penurunan performa pada konteks pendek.
Sementara itu, AMD Ryzen AI Halo (Strix Halo) menghadirkan skenario performa terburuk untuk model dense ini. Kombinasi bandwidth memori yang relatif rendah dan performa prompt processing yang rendah membuat platform ini kesulitan, terutama untuk pekerjaan interaktif dengan konteks panjang. Meskipun MTP membantu meningkatkan throughput token per detik, hal itu tidak dapat mengkompensasi waktu pemrosesan prompt yang lama.
Kesimpulan dari seluruh pengujian ini adalah bahwa performa aktual AI lokal tidak bisa diprediksi hanya dari spesifikasi hardware. Pengguna perlu melakukan eksperimen dan benchmarking yang cermat untuk menemukan kombinasi terbaik antara hardware, inference engine, dan konfigurasi yang sesuai dengan kebutuhan spesifik mereka. Pertimbangan ekonomi juga penting: investasi USD 5.000 hingga USD 15.000 untuk hardware AI lokal setara dengan banyak token dari layanan AI terkemuka seperti Anthropic atau OpenAI.
Komentar
Belum ada komentar.