Telset.id – Nvidia secara resmi mempresentasikan arsitektur rack Groq 3 LPX pada ajang Hot Chips 2026, sekaligus merilis benchmark pihak ketiga pertama untuk hardware tersebut. Igor Arsovski, VP of Hardware Nvidia yang juga mantan chief architect Groq, mengungkapkan bahwa rack ini telah memasuki tahap produksi dan mencatatkan kecepatan output hingga 3.431 token per detik pada workload reasoning Gemma 4 31B dengan konteks 100K.
Angka tersebut sekitar empat kali lebih cepat dibandingkan 870 token per detik yang dicapai endpoint publik tercepat berikutnya. Benchmark ini diukur oleh Artificial Analysis pada endpoint privat pre-release Gemma 4 31B yang disajikan melalui Google Cloud, dengan mengambil median dari 50 permintaan klien berurutan pada konkurensi satu. Sementara itu, penyedia publik yang dibandingkan menjalankan endpoint serverless produksi bersama.
Groq 3 LPX dibangun di atas chip LP30 yang diperoleh Nvidia melalui kesepakatan senilai $20 miliar dengan Groq pada Desember 2025. Kesepakatan yang sama juga mendorong Rubin CPX keluar dari roadmap Nvidia. Setiap LP30 membawa sekitar 500MB SRAM on-die tanpa HBM, sehingga rack LPX penuh dengan 256 chip memiliki memori 128GB yang menghasilkan bandwidth agregat 40 PB/s dengan 315 PFLOPS komputasi FP8, serta latensi chip-to-chip 350 ns dalam rack liquid-cooled MGX yang kompatibel dengan Vera Rubin.
Desain SRAM Tanpa HBM untuk Inferensi
Menjaga bobot model tetap berada di SRAM daripada streaming dari HBM menghilangkan latensi akses memori yang mendominasi decode token tunggal. Desain ini menghilangkan cache, branch prediction, dan out-of-order execution demi pipeline deterministik penuh yang dijadwalkan compiler pada granularitas siklus jam. Arsitektur ini merupakan turunan langsung dari Tensor Streaming Processor yang dijelaskan Groq dalam paper ISCA 2020 berjudul Think Fast.
Kapasitas menjadi harga dari desain SRAM-only ini. GPU Rubin membawa 288GB HBM4, sekitar 576 kali lipat memori LP30 tunggal. Model 31 miliar parameter pada FP8 membutuhkan sekitar 62 LPU untuk menyimpan bobotnya, sementara model mixture-of-experts besar membutuhkan ribuan chip di beberapa rack. Karena itu, Nvidia mendeskripsikan LPU sebagai solusi untuk decode, bukan pengganti GPU secara umum.
Determinisme memungkinkan compiler memprediksi konsumsi daya per siklus, yang digunakan Nvidia untuk memesan arus dari regulator rack sebelum permintaan datang. Pendekatan ini memangkas voltage droop lebih dari 60% dan overshoot lebih dari 70% dibandingkan beban tanpa kompensasi. Penjadwalan per-blok juga memungkinkan hardware meratakan panas alih-alih throttling ke tile terpanas, menghasilkan sekitar 10-11% performa tambahan di bawah batas termal tetap.
Di seluruh rack, Nvidia menyinkronkan chip ke satu jam virtual dalam jaringan plesiosynchronous, dengan setiap chip berperan sebagai prosesor sekaligus router. Fabrik tidak memerlukan adaptive routing atau congestion sensing, dan drift jam antar-chip dikompensasi di link chip-to-chip.
Baca Juga:
Kolaborasi dengan Rubin dan Manajemen Daya
Nvidia memposisikan rack LPX sebagai decode co-processor yang dipasangkan pada Vera Rubin NVL72. GPU Rubin menangani fase prefill yang intensif komputasi dan membangun KV cache, sementara LPU menghasilkan token output. Ada tiga cara pembagian kerja yang ditunjukkan: disaggregated prefill dan decode; disaggregation attention-FFN yang menjaga attention dan cache di HBM GPU sementara LPU menjalankan layer feed-forward; serta external-draft speculative decoding di mana model kecil di LPU mengusulkan token yang diverifikasi GPU secara paralel.
FPGA menjembatani domain LPU sinkron dengan dunia asinkron host I/O dan hand-off GPU. Runtime Dynamo Nvidia bersama ekstensi LPU untuk CUDA mengorkestrasi pembagian ini. Perusahaan mengklaim peningkatan tiga hingga lima kali lipat dibandingkan Rubin saja pada workload dua triliun parameter dengan konteks cache 400K token, semua diukur oleh Nvidia.
Di sisi manajemen daya, Nvidia juga menekankan pendekatan DSX MaxLPS (Land, Power, Shell) dalam presentasi Hot Chips. Dengan semua teknologi manajemen daya Vera Rubin dan DSX MaxLPS, operator dapat menyediakan instalasi 40.000 GPU generasi berikutnya (sekitar 40 Rubin DGX SuperPODs) dalam anggaran daya fasilitas tetap 100MW, dengan pengiriman hingga 2 zettaFLOPS untuk inferensi NVFP4 dan 1,4 ZFLOPS untuk pelatihan NVFP4.
Pendekatan MaxLPS mengatasi keterbatasan provisioning daya statis melalui skema dinamis yang terus-menerus sadar akan penggunaan daya di tingkat chip, rack, dan kelompok rack. Dalam contoh terukur rack GB300 saat ini, dalam anggaran daya 540kW dengan provisioning statis, operator mungkin memasang empat sistem 135kW. Namun dalam praktiknya, hingga 170kW daya tersebut bisa tidak terpakai karena perbedaan utilisasi rack.
Untuk sistem Grace Blackwell GB300 yang menjalankan DeepSeek-R1, Nvidia menyebut rezim peak tetap sebelumnya akan mengasumsikan GPU TGP 1400W dan estimasi daya rack 136kW. Dengan MaxLPS, GPU TGP tipikal turun ke 1000W dan total daya rack turun ke 101kW tanpa memengaruhi performa. Rack Rubin NVL72 juga dirancang bekerja dengan suhu coolant inlet 45 derajat Celsius, lebih tinggi dari sistem liquid-cooled sebelumnya, yang memungkinkan lebih banyak daya dialokasikan ke komputasi.
Kesepakatan Nvidia-Groq sendiri menuai sorotan. Senator Elizabeth Warren dan Richard Blumenthal menulis surat ke FTC dan Nvidia pada awal 2026, berargumen bahwa pengaturan tersebut mengakuisisi Groq “dalam segala hal kecuali nama.” Namun, belum ada investigasi formal khusus kesepakatan yang dikonfirmasi hingga akhir Agustus. Arsovski membuka presentasi Hot Chips dengan menyebutnya “momen pinch me untuk tim Groq yang kini terintegrasi ke dalam grup Nvidia.”
Kehadiran Groq 3 LPX menandai langkah Nvidia memperkuat posisinya di pasar inferensi AI, dengan pendekatan arsitektur yang berbeda dari GPU tradisional. Di saat yang sama, Cerebras memanfaatkan sesi Hot Chips yang sama untuk mempresentasikan sistem wafer-scale CS4 yang disebut berjalan hingga 30 kali lebih cepat dari GPU, menunjukkan persaingan yang semakin ketat di segmen inferensi berkecepatan tinggi.
Komentar
Belum ada komentar.