Nvidia Rubin GPU: Arsitektur AI Baru untuk Inferensi Agen yang Lebih Cepat

Telset.id – Nvidia bersiap meluncurkan platform Vera Rubin yang akan menjadi tulang punggung komputasi AI di era agen. Platform ini dirancang untuk menjawab permintaan token yang sangat besar dari beban kerja agen AI, dengan fokus utama pada efisiensi inferensi dan pengurangan biaya per token.

Vera Rubin, yang dijadwalkan hadir pada musim gugur tahun ini, hadir di tengah pergeseran industri AI dari pelatihan model perbatasan menuju komputasi inferensi agen AI dalam skala masif. Kebutuhan akan token yang dihasilkan dalam alur kerja agen dan tuntutan untuk mengirimkannya dengan cepat, efisien, dan berbiaya rendah menjadi fokus utama diskusi saat ini.

Sistem rak Vera Rubin NVL72 dibangun dari 36 CPU Vera dan 72 GPU Rubin. Fokus utama pada GPU Rubin adalah bagaimana arsitektur ini menggabungkan dua die komputasi ke dalam satu paket menggunakan Nvidia High Bandwidth Interface. Hasilnya, chip ini menawarkan 224 Streaming Multiprocessors (SMs) yang berisi total 896 Tensor Cores, dipadukan dengan 288GB memori HBM4 yang menyediakan bandwidth memori 22 TB/s.

Sebagai akselerator yang berfokus pada inferensi, Nvidia menonjolkan kinerja 50 sparse PFLOPS throughput inferensi NVFP4 sebagai angka kinerja utamanya. Berikut adalah beberapa tingkat kinerja kunci dari chip ini:

• NVFP4 Inference: 50 PFLOPS (dengan sparsity)
• NVFP4 Training: 35 PFLOPS
• FP8/FP6 Training: 17.5 PFLOPS
• INT8: 250 TOPS
• FP16/BF16: 4 PFLOPS
• TF32: 2 PFLOPS
• FP32: 130 TFLOPS
• FP64: 33 TFLOPS

Peningkatan Tensor Memory Accelerator untuk MoE

Salah satu peningkatan utama pada Rubin adalah pada Tensor Memory Accelerator (TMA). TMA adalah mesin khusus yang menangani perhitungan alamat memori dan melakukan pemuatan langsung data array ke dalam memori lokal bersama GPU. Arsitektur model AI terkemuka telah beralih dari model padat di mana setiap parameter diaktifkan per token keluaran, menuju arsitektur mixture-of-experts (MoE) di mana hanya sub-jaringan khusus tertentu yang diaktifkan per token.

Bobot expert MoE dapat didistribusikan ke seluruh GPU untuk memanfaatkan kapasitas HBM per-GPU secara efisien. Nvidia menyatakan bahwa TMA pada Rubin telah ditingkatkan untuk menangani tantangan pengelolaan jumlah expert yang terus bertambah dalam model-model terkemuka saat ini.

Pada GPU Blackwell, TMA perlu mempertahankan deskriptor MoE terpisah di memori untuk lokasi setiap expert. Ini berarti overhead untuk menemukan dan memindahkan bobot expert membutuhkan lebih banyak sumber daya komputasi seiring bertambahnya jumlah expert. TMA Rubin sekarang mendukung kernel GPU yang memelihara dan memperbarui satu deskriptor MoE terpadu langsung dalam instruksi TMA saat runtime, mengurangi komputasi metadata deskriptor MoE dan membutuhkan lebih sedikit overhead perhitungan untuk perpindahan data.

Pendekatan ini membebaskan siklus GPU untuk perhitungan inferensi, yang merupakan tempat di mana akselerator AI yang mahal seharusnya menghabiskan sebagian besar waktunya.

Performa Tensor Core dan Softmax yang Ditingkatkan

Rubin juga meningkatkan performa fundamental operasi matriks di Tensor Core dengan menggandakan jumlah pekerjaan yang dapat dilakukan inti-inti tersebut pada dimensi K, atau dimensi dalam bersama dari sepasang matriks yang akan dikalikan. Ukuran dimensi K berhubungan langsung dengan berapa kali Tensor Core harus melakukan loop atas elemen-elemen dari dua matriks yang dikalikan.

Dalam contoh Nvidia, perhitungan matriks hasil yang memerlukan empat iterasi loop pada Blackwell dapat diselesaikan hanya dalam dua iterasi pada Rubin. Nvidia mengatakan peningkatan ini memiliki manfaat luas untuk kernel yang terikat throughput, memori, dan latensi, serta berguna untuk fase pemrosesan konteks dan dekode inferensi.

Rubin juga fokus pada peningkatan performa mekanisme attention yang fundamental bagi LLM berbasis transformer. Model yang lebih canggih sekarang mendukung panjang konteks hingga satu juta token, dan melakukan perhitungan attention dengan cepat pada urutan input yang panjang menjadi pendorong utama peningkatan performa inferensi.

Softmax adalah operasi penting dalam perhitungan attention. Untuk mengimbangi throughput Tensor Core yang lebih baik di Rubin, Nvidia sekali lagi meningkatkan throughput softmax di Special Function Unit (SFU) SM GPU. Blackwell Ultra menggandakan throughput eksponensial FP32 dan BF16/FP16 dibandingkan dengan Blackwell GB200 generasi pertama.

Rubin mempertahankan kecepatan 2X Blackwell Ultra dibandingkan Blackwell dalam matematika eksponensial FP32, dan menggandakan perhitungan eksponensial BF16/FP16 lagi dibandingkan Blackwell Ultra, menghasilkan peningkatan throughput 4X dibandingkan Blackwell untuk tipe data presisi rendah tersebut.

Manajemen Dependensi dan Komunikasi Antar-GPU

Rubin juga meningkatkan okupansi Tensor Core dengan menyediakan peluang yang lebih terperinci untuk koordinasi antara kernel yang dependen dibandingkan pada Blackwell. Salah satu kasus yang dikutip Nvidia di mana dependensi ini muncul adalah generasi aktivasi untuk LLM, di mana satu kernel menghasilkan dan menyimpan data yang kemudian digunakan oleh kernel berikutnya saat prompt berjalan melalui jaringan saraf.

Pada GPU Blackwell, kernel produsen yang berjalan lama pada satu thread block (mungkin dalam struktur CUDA seperti cluster) dapat menunda eksekusi kernel konsumen berikutnya pada thread block tersebut, bahkan ketika thread block lain dari kernel produsen telah menyelesaikan pekerjaannya.

Rubin menawarkan resolusi dependensi yang lebih terperinci antara kernel, sehingga kernel konsumen dapat mulai dieksekusi pada thread block individu segera setelah output kernel produsen dari setiap thread block tersedia, alih-alih menunggu seluruh batch data kernel produsen tersedia. Manajemen yang lebih terperinci ini menghasilkan utilisasi GPU yang lebih baik, latensi kernel-ke-kernel yang lebih rendah, dan pada akhirnya meningkatkan token per detik per pengguna.

Semua peningkatan yang dibahas sejauh ini berkaitan dengan bagaimana pekerjaan terjadi pada satu GPU, tetapi akselerator rak Vera Rubin NVL72 terdiri dari banyak GPU yang terhubung melalui fabric NVLink dalam satu rak. Bobot model, data key-value cache, dan pesan sinkronisasi antar-GPU semuanya bergerak melalui fabric ini, sehingga menjaga overhead dan latensi tetap rendah adalah kunci untuk mewujudkan performa maksimum.

GPU yang menjalankan kernel CUDA dapat secara langsung memulai komunikasi dengan GPU lain di rak menggunakan API Nvidia Collective Communications Library (NCCL), menurunkan overhead. Nvidia mencatat bahwa karena GPU melakukan operasi tersebut secara langsung sebagai bagian dari kernel komputasi, eksekusi komunikasi yang efisien menjadi sangat penting untuk performa.

Pada sistem Blackwell, transfer NVLink antar-GPU mungkin memerlukan operasi penyimpanan data yang diikuti oleh memory barrier dan atomic flag. Arsitektur Rubin memperkenalkan fitur yang disebut counted writes yang mengurangi jumlah lalu lintas koordinasi dan sinkronisasi yang diperlukan untuk berbagi data antar-GPU di seluruh fabric.

Pada Rubin, memory barrier dan operasi atomik digantikan oleh pembaruan penghitung tulis tunggal pada GPU penerima, mengurangi lalu lintas jaringan dan latensi serta meningkatkan utilisasi komputasi dengan mengurangi waktu yang dihabiskan untuk menunggu overhead koordinasi.

Secara keseluruhan, seiring dengan performa single-threaded tinggi dari CPU Vera untuk agent harness, pemanggilan alat, kompilasi kode, dan lainnya, peningkatan pada GPU Rubin untuk performa pada operasi inferensi kritis, serta efisiensi yang lebih baik untuk perpindahan data pada chip dan di seluruh rak, berjanji untuk menciptakan sistem skala rak dan pusat data yang akan meningkatkan performa inferensi dan menurunkan biaya inferensi per token di masa depan agen yang semakin cerdas.

Pengiriman sistem Vera Rubin dijadwalkan akan dimulai pada musim gugur tahun ini.