Cluster GB10 Dell Pro Max, Solusi AI Lokal 256GB Murah

Telset.id – Kebutuhan akan memori lokal yang besar untuk menjalankan model AI canggih kini bisa dijawab tanpa harus merogoh kocek puluhan ribu dolar. Solusi paling hemat saat ini datang dari penggabungan dua sistem Nvidia GB10, seperti Dell Pro Max with GB10, yang mampu menyediakan pool memori terdistribusi hingga 256GB.

Pengujian lokal AI pada tahun 2026 banyak berfokus pada large language model yang bisa muat di memori 128GB milik sistem Nvidia GB10 atau AMD Strix Halo. Namun, model open-source yang lebih besar seringkali masih terlalu besar meskipun sudah dikuantisasi. Solusinya adalah mendistribusikan model tersebut ke beberapa sistem lokal menggunakan jaringan sebagai tulang punggung, persis seperti yang dilakukan di data center.

Mengapa harus melakukan scale out dengan sistem GB10? Membangun token factory lokal dengan pool VRAM besar dari GPU diskrit bisa memakan biaya yang sangat mahal. Untuk mencapai 128GB VRAM saja, diperlukan sistem host mahal dengan slot PCI Express dan bandwidth yang memadai. Melampaui 128GB berarti mengeluarkan biaya minimal $20.000 hanya untuk GPU Nvidia, bahkan jika menggunakan kartu lawas 48GB sekalipun.

Resep ideal untuk setup semacam itu biasanya membutuhkan platform Threadripper Pro atau Epyc, yang berarti CPU, motherboard, dan kit DDR5 yang mahal. Kebutuhan dayanya pun bisa melampaui kapasitas sirkuit standar 15A (maksimum 1.800W). Belum lagi kebisingan dari kipas blower empat GPU yang berputar kencang, yang tidak akan nyaman jika ditempatkan di ruang bersama.

Nvidia merancang DGX Spark dan produk sejenisnya sebagai sistem yang dapat di-cluster. Hal ini dimungkinkan berkat NIC ConnectX 7 200Gbps bawaan yang mendukung Remote Direct Memory Access over Converged Ethernet (RoCE). Dua atau lebih sistem GB10 dapat menggunakan antarmuka ini sebagai tulang punggung untuk cluster komputasi AI terdistribusi.

Dell mengirimkan sepasang Pro Max GB10 beserta kabel QSFP untuk pengujian. Meski tidak murah, dengan harga sekitar $6.332 per unit (konfigurasi dengan SSD 4TB), biaya total untuk cluster 256GB masih lebih rendah dibandingkan harga empat GPU 48GB atau 72GB yang dibutuhkan untuk membangun server GPU serupa. Saat ini, belum ada cara yang lebih murah untuk mendapatkan model lokal besar dengan performa jaringan setingkat platform DGX Spark.

Dell Pro Max with GB10 mengikuti cetak biru Spark, namun menambahkan LED daya di panel depan yang sangat berguna dan gril heksagonal yang tidak mudah menyangkut kain. Dell juga menyertakan adaptor daya USB-C 280W, 40W lebih besar dari adaptor DGX Spark referensi, meskipun tidak ada indikasi TDP atau clock yang lebih tinggi.

Perbedaan lainnya, Dell menggunakan SSD PCIe Gen 4 dibandingkan Gen 5 pada DGX Spark. Keputusan ini tampaknya mengikuti langkah Nvidia yang juga beralih ke drive Gen 4 untuk menekan biaya produksi.

Pengaturan dan Tantangan Cluster

Proses pengaturan cluster dua sistem GB10 bukannya tanpa hambatan. NIC ConnectX 7 pada sistem ini hanya mendukung protokol Ethernet dan RoCE untuk clustering, bukan Infiniband. Selain itu, koneksi NIC ke SoC GB10 memiliki keterbatasan platform, di mana lebar bus PCIe maksimal yang bisa didapat adalah PCIe 5.0 x4. Untuk mencapai 200Gbps, dua jalur x4 harus digabungkan di belakang satu port fisik, sehingga setiap port fisik muncul sebagai dua antarmuka logis.

Konfigurasi topologi jaringan harus dilakukan dengan hati-hati untuk mencapai bandwidth penuh. Panduan dari proyek spark-vllm-docker sangat direkomendasikan. Setelah menghubungkan dua sistem Dell Pro Max dengan kabel QSFP dan mengkonfigurasi antarmuka jaringan, bandwidth RDMA yang didapatkan awalnya hanya sebagian kecil dari yang diharapkan.

Masalah tersebut teratasi setelah ditemukan bahwa pembaruan firmware pada node kedua terhambat. Setelah memaksa instalasi paket fwupd yang tertinggal dan melakukan pembaruan firmware, bandwidth akhirnya mencapai angka yang mendekati 25GB/s yang diharapkan dari koneksi 200Gbps. Proses ini menunjukkan bahwa meskipun bukan pengalaman plug-and-play, masalah yang ada bisa diatasi.

Kinerja Inferensi dan Model AI

Untuk clustering, engine inferensi yang mendukung tensor parallelism seperti vLLM adalah pilihan utama. Proyek spark-vllm-docker menyediakan skrip yang memudahkan memulai cluster dan mendistribusikan model. Pengujian dilakukan dengan model DeepSeek v4 Flash, model mixture of experts (MoE) dengan 284 miliar parameter dan 18 miliar parameter aktif per token, serta dukungan konteks hingga 1 juta token.

Dengan cluster 256GB, vLLM memberikan batas 400.000 token untuk DeepSeek v4 Flash. Model ini memanfaatkan multi-token prediction (MTP), sehingga throughput decoding tetap sama meskipun time-to-first-token meningkat seiring panjang konteks hingga 200.000+ token. Performa ini dinilai mengesankan dan dapat digunakan untuk model sebesar itu.

Pengujian juga dilakukan dengan model MiniMax M2.7 versi kuantisasi 4-bit. Model MoE ini memiliki 230 miliar parameter total dan 10 miliar parameter aktif, dengan dukungan konteks hingga 200.000 token. Tanpa keunggulan MTP, throughput model ini mengikuti kurva yang lebih umum, di mana performa menurun seiring bertambahnya panjang konteks. Meskipun tidak cepat, cluster Spark masih mampu menghasilkan token per detik yang cukup untuk menjadi sandbox yang berguna dengan model-model berat ini.

Dari segi daya dan termal, keunggulan utama cluster ini adalah tidak memerlukan daya dan pendinginan yang eksotis. Konsumsi daya puncak yang terukur saat pengujian inferensi berkisar antara 375W hingga 415W untuk seluruh cluster, sedikit lebih tinggi dari TGP sebuah RTX 5080. Tingkat kebisingan juga terkendali, sekitar 40 dBA pada jarak 18 inci, membuatnya cocok untuk ditempatkan di ruang kantor atau kubikel.

Intinya, bagi pengembang AI lokal yang membutuhkan lebih banyak VRAM untuk model besar tanpa ribet membangun server GPU dari awal, cluster Dell Pro Max with GB10 menawarkan solusi yang mudah, hemat ruang, daya rendah, dan relatif terjangkau. Sepasang sistem ini dibanderol sekitar $12.664, ditambah $50 untuk kabel QSFP. Meskipun demikian, bagi individu, cluster serupa bisa dibangun dengan Asus Ascent GX10 dengan harga di bawah $10.000.

NIC ConnectX 7 di setiap sistem GB10 memastikan tidak ada cara yang lebih murah untuk mencapai pool memori terdistribusi 256GB dengan performa jaringan setingkat ini. Dengan dukungan komunitas yang aktif dan ekosistem perangkat lunak yang matang, Dell Pro Max with GB10 menjadi pilihan yang sulit ditandingi untuk membangun sandbox AI lokal yang besar.