Nvidia Pamerkan Groq 3 LPX dan Benchmark Inference Pihak Ketiga

Telset.id – Nvidia memamerkan arsitektur Groq 3 LPX pada ajang Hot Chips 2026, sekaligus merilis benchmark inference pihak ketiga pertama untuk hardware tersebut. Igor Arsovski, VP of hardware Nvidia yang sebelumnya menjabat sebagai chief architect Groq, mempresentasikan arsitektur rack LPX dan mengumumkan hasil pengukuran dari Artificial Analysis yang mencatat 3.431 token output per detik pada workload reasoning Gemma 4 31B dengan konteks 100K.

Hasil tersebut sekitar empat kali lebih cepat dibandingkan 870 token per detik dari endpoint publik tercepat berikutnya. Arsovski menyatakan rack ini sudah memasuki tahap produksi, dibangun di atas chip LP30 yang diperoleh Nvidia melalui kesepakatan senilai $20 miliar dengan Groq pada Desember 2025. Kesepakatan yang sama juga mendorong Rubin CPX keluar dari roadmap Nvidia.

Arsitektur Groq 3 LPX mengandalkan SRAM tanpa HBM. Setiap LP30 membawa sekitar 500MB SRAM on-die tanpa HBM, sehingga satu rack LPX penuh dengan 256 chip memiliki memori 128GB dengan bandwidth agregat 40 PB/s. Rack ini menawarkan 315 PFLOPS komputasi FP8 dengan latensi chip-to-chip 350 ns dalam rack liquid-cooled MGX yang kompatibel dengan Vera Rubin dan dapat diskalakan melampaui 1.000 LPU.

Menjaga bobot model tetap berada di SRAM daripada streaming dari HBM menghilangkan latensi akses memori yang mendominasi decode token tunggal. Desain ini menghilangkan cache, branch prediction, dan out-of-order execution demi pipeline deterministik penuh yang dijadwalkan compiler pada granularitas siklus clock. Arsitektur ini merupakan turunan langsung dari Tensor Streaming Processor yang dijelaskan Groq dalam paper ISCA 2020 berjudul Think Fast.

Perbandingan Benchmark dan Keterbatasan Kapasitas

Artificial Analysis menjalankan perbandingan pada endpoint pribadi pre-release Gemma 4 31B yang dilayani melalui Google Cloud, mengambil median dari 50 permintaan klien berurutan dengan konkurensi satu. Sementara itu, penyedia publik yang diukur beroperasi pada endpoint serverless produksi bersama. Melayani satu permintaan pada satu waktu menghasilkan tingkat token per pengguna tertinggi yang dapat dicapai hardware, dan tidak dapat dibandingkan langsung dengan kondisi multi-tenant endpoint lain.

Demo di atas panggung Nvidia menunjukkan angka lebih tinggi, yakni 10.996 token per detik pada model 31B yang sama. Arsovski menandai angka tersebut sebagai “self-reported” sebelum menyampaikan bahwa tujuannya adalah “benchmark independen terverifikasi pihak ketiga yang bisa dipercaya.” Gemma 4 31B juga merupakan model dense yang cukup kecil untuk muat di dalam satu rack LPX. Namun, gambaran pada skala mixture-of-experts triliunan parameter, di mana kapasitas memori menjadi kendala utama, belum dijelaskan.

Sebuah GPU Rubin membawa 288GB HBM4, sekitar 576 kali lipat memori dari satu LP30. Model 31 miliar parameter pada FP8 membutuhkan sekitar 62 LPU untuk menyimpan bobotnya. Model mixture-of-experts besar membutuhkan ribuan chip di beberapa rack. Kapasitas menjadi harga dari desain SRAM-only, dan inilah alasan Nvidia menggambarkan LPU sebagai solusi untuk decode, bukan pengganti umum untuk GPU mereka.

Determinisme memungkinkan compiler memprediksi konsumsi daya siklus demi siklus. Nvidia menggunakan ini untuk memesan arus dari regulator rack sebelum permintaan datang, memotong voltage droop lebih dari 60% dan overshoot lebih dari 70% dibandingkan beban tanpa kompensasi. Penjadwalan per-blok yang sama memungkinkan hardware menyetarakan panas alih-alih throttling ke tile terpanas, yang menurut Arsovski memberikan sekitar 10% hingga 11% performa tambahan di bawah batas termal tetap.

Di seluruh rack, Nvidia menyinkronkan chip ke satu virtual clock dalam apa yang disebut jaringan plesiosynchronous. Setiap chip berperan sebagai prosesor sekaligus router sehingga fabric tidak memerlukan adaptive routing atau congestion sensing. Drift clock antar chip dikompensasi di link chip-to-chip. Saat ditanya tentang blast radius chip yang gagal di tengah workload, Arsovski mengatakan pengguna “akan mengalami hal yang sama persis seperti hardware lain di industri ini” dan akan “checkpoint atau mengonfigurasi ulang hardware.”

Integrasi dengan Rubin dan Manajemen Daya

Nvidia memposisikan rack LPX sebagai co-processor decode yang dipasangkan ke Vera Rubin NVL72. GPU Rubin menangani fase prefill yang komputasi berat dan membangun KV cache, sementara LPU menghasilkan token output. Nvidia menunjukkan tiga cara membagi kerja: disaggregated prefill dan decode; disaggregation attention-FFN yang menjaga attention dan cache di HBM GPU sementara LPU menjalankan feed-forward layers; dan speculative decoding draft-eksternal di mana model kecil di LPU mengusulkan token yang diverifikasi GPU secara paralel.

Sebuah FPGA menjembatani domain LPU sinkron dan dunia asinkron host I/O serta hand-off GPU. Runtime Dynamo Nvidia bersama ekstensi LPU untuk CUDA mengorkestrasi pembagian ini. Perusahaan menyebutkan keuntungan mode ini sekitar tiga hingga lima kali lipat dibandingkan Rubin saja pada workload dua triliun parameter dengan konteks cached 400K token, semua diukur oleh Nvidia.

Nvidia menarik Rubin CPX, akselerator konteks panjang berbasis GDDR7 miliknya, untuk fokus mengirim LPU tahun ini. Keputusan ini disampaikan VP Ian Buck di GTC 2026. Kesepakatan $20 miliar yang menghasilkan LP30 terstruktur sebagai lisensi IP non-eksklusif plus perekrutan Ross, presiden Sunny Madra, dan sebagian besar insinyur Groq, sebuah bentuk yang menghindari tinjauan merger formal. Senator Elizabeth Warren dan Richard Blumenthal menulis kepada FTC dan Nvidia pada awal 2026, dengan argumen bahwa pengaturan tersebut mengakuisisi Groq “dalam segala hal kecuali nama,” dan belum ada investigasi khusus kesepakatan yang dikonfirmasi hingga akhir Agustus.

Di sisi manajemen daya, Nvidia juga menekankan batas keras kapasitas data center selama presentasi Hot Chips tentang GPU Rubin. Perusahaan menyoroti jumlah komputasi yang dapat diberikan sistem Vera Rubin NVL72 dalam contoh anggaran daya fasilitas tetap 100MW. Penggunaan semua teknologi manajemen daya Vera Rubin, bersama suite desain dan manajemen daya dinamis tingkat situs DSX MaxLPS, memungkinkan operator menyediakan instalasi 40.000 GPU generasi berikutnya (sekitar 40 Rubin DGX SuperPODs) dalam anggaran 100MW tersebut. Nvidia memperkirakan hardware itu dapat memberikan hingga 2 zettaFLOPS (ZFLOPS) untuk inference NVFP4 dan hingga 1,4 ZFLOPS untuk training NVFP4.

Angka performa tersebut diperkirakan, bukan diukur. Jumlah FLOPS maksimum yang dapat dicapai dari workload nyata kemungkinan jauh lebih rendah karena berbagai alasan. Namun, poin utamanya tetap: mendapatkan komputasi terbanyak dari anggaran daya yang berharga saat merencanakan data center AI masa depan membutuhkan perencanaan, pemantauan, dan manajemen fasilitas yang lebih cermat daripada sekadar menerapkan ukuran kasar perkiraan daya puncak untuk setiap komponen listrik di fasilitas.

Pendekatan DSX MaxLPS dirancang untuk mengatasi keterbatasan provisioning daya statis dengan menerapkan skema dinamis cerdas yang terus-menerus menyadari penggunaan daya di tingkat chip, rack, dan kelompok rack. Di mana daya tidak terpakai tersedia karena karakteristik workload atau kapasitas idle, control loop Dynamic Power Software Nvidia dapat menemukan dan mendistribusikan ulang energi ke sistem yang paling membutuhkannya pada saat itu, memaksimalkan jumlah sistem yang dapat dipasang dan performa per watt dari fasilitas dari waktu ke waktu.

Dalam contoh terukur rack GB300 saat ini, dalam anggaran daya 540kW dengan provisioning statis, operator mungkin dapat memasang empat sistem 135kW dengan provisioning untuk puncak alih-alih nilai terukur dari workload. Namun dalam praktiknya, hingga 170kW dari anggaran daya itu mungkin tidak terpakai karena perbedaan utilisasi rack. Untuk sistem rack-scale modern seperti NVL72, itu berarti satu rack lebih yang dapat dipasang dengan aman dalam anggaran daya yang sama.

Di tingkat rack, DSX MaxLPS menawarkan fleksibilitas lebih melalui profil daya khusus workload. Mirip dengan mode daya quiet, balanced, dan high-performance yang dikenal pengguna PC klien, Nvidia memproduksi profil daya tingkat rack yang dapat ditetapkan ke sistem yang menjalankan workload contoh seperti inference, training, dan tugas umum memory-bound atau compute-bound.

Untuk sistem Grace Blackwell GB300 yang menjalankan DeepSeek-R1, Nvidia menyebut rezim puncak tetap sebelumnya akan mengasumsikan TGP GPU 1400W dan perkiraan daya rack 136kW. Dengan menerapkan MaxLPS, TGP GPU tipikal di bawah workload ini turun menjadi 1000W, dan total daya rack turun menjadi 101kW, tanpa memengaruhi performa yang dikirimkan. Envelope yang tidak terlalu konservatif itu langsung diterjemahkan menjadi performa per watt lebih tinggi, jumlah rack lebih besar yang dapat dipasang dalam fasilitas yang sama, dan akhirnya lebih banyak token yang dapat menghasilkan pendapatan bagi operator data center atau penyewanya.

Komponen utama lain dari MaxLPS dalam data center yang menggunakan hardware Vera Rubin adalah penggunaan suhu coolant cair yang lebih tinggi untuk rack Rubin NVL72 yang sepenuhnya berpendingin cairan. Sistem tersebut dirancang bekerja dengan suhu coolant inlet 45°C, jauh lebih tinggi daripada sistem berpendingin cairan sebelumnya. Penggunaan suhu coolant yang lebih tinggi penting karena chiller mekanis yang digunakan untuk membuang panas buangan juga mengonsumsi sebagian besar anggaran daya situs, hingga 40% untuk instalasi sebelumnya menurut Nvidia. Chiller tersebut mungkin masih perlu beroperasi selama bagian terpanas tahun ini, tetapi di luar kondisi itu, suhu coolant yang lebih tinggi umumnya memungkinkan lebih banyak daya digunakan secara produktif.

Arsitektur Groq 3 LPX dan pendekatan DSX MaxLPS mencerminkan perhatian komprehensif terhadap hubungan daya dan performa yang dapat dicapai. Power untuk data center AI diperkirakan tetap menjadi salah satu kendala paling kritis untuk fasilitas tersebut di masa mendatang. Pendekatan Nvidia terlihat siap menyediakan blok bangunan yang dibutuhkan untuk alokasi dinamis sumber daya tersebut guna mengekstrak performa per watt maksimum dari fasilitas Rubin. Informasi lebih lanjut tentang inovasi Hot Chips 2026 lainnya dapat disimak pada prosesor budget Intel serta prosesor dual-ISA IBM.