Meta dan Panmnesia Bangun Arsitektur CXL untuk 960 GPU AI

Telset.id – Meta bekerja sama dengan Panmnesia untuk mengembangkan desain data center kecerdasan buatan (AI) yang mampu membuat ribuan prosesor beroperasi dalam satu lingkungan koheren. Proyek ini menggunakan Compute Express Link (CXL) untuk menghubungkan CPU, akselerator, dan memori di beberapa rak tanpa memerlukan koneksi jaringan konvensional. Arsitektur ini berpotensi menyatukan hingga 960 akselerator AI dalam satu domain koherensi, atau setara dengan hampir 1.000 GPU yang bekerja sebagai satu sistem tunggal.

Pendekatan ini menjawab masalah yang semakin sulit diatasi saat sistem pelatihan AI menggabungkan ratusan atau ribuan akselerator yang memproses data dalam jumlah besar. Setiap akselerator harus melewati tahapan komputasi berulang, sehingga satu komponen yang tertunda dapat memaksa perangkat lain menunggu sebelum melanjutkan pekerjaannya. Karena itu, para peneliti memfokuskan upaya pada pengurangan penundaan komunikasi yang tidak terduga antar-rak, tempat jaringan Ethernet atau InfiniBand biasanya menangani koneksi di luar sistem individual.

Jaringan konvensional tersebut membutuhkan pemrosesan paket dan koordinasi perangkat lunak, yang dapat menimbulkan variasi latensi lebih besar saat beban kerja menyebar ke lebih banyak server. CXL menawarkan mekanisme koherensi bersama yang memungkinkan prosesor, akselerator, dan memori berpartisipasi dalam satu lingkungan sumber daya yang terhubung. Arsitektur yang diusulkan menambahkan perangkat keras khusus untuk menjaga jalur komunikasi dan perilaku pemrosesan tetap konsisten di seluruh fabric yang lebih besar.

Desain Panmnesia menggunakan switch high-fan-out, link acceleration unit, dan fabric controller untuk mengelola lalu lintas di seluruh sistem. Komponen-komponen ini disusun ke dalam tray, pod, dan fabric, meminjam prinsip organisasi yang biasanya diasosiasikan dengan penataan blok fungsional di dalam chip semikonduktor. Perusahaan menyatakan bahwa fabric controller dan link acceleration unit mereka telah menyelesaikan validasi silikon, sementara switch-nya telah difabrikasi. Silikon pra-rilis dilaporkan sedang dipasok seiring pengembangan menuju produk komersial.

Tinjauan tersebut membandingkan rancangan yang diusulkan dengan NVIDIA GB200 NVL72, di mana satu CPU secara langsung mengoordinasikan dua akselerator melalui NVLink-C2C. Dalam arsitektur Panmnesia, satu CPU dapat mengoordinasikan 16 akselerator, yang merepresentasikan peningkatan delapan kali lipat dibandingkan konfigurasi referensi tersebut. Menurut desain yang dipublikasikan, sekitar 60 grup semacam itu kemudian dapat membentuk domain koherensi yang berisi sekitar 960 akselerator.

Akses antar-rak juga dapat turun dari level mikrodetik menjadi beberapa ratus nanodetik, yang merepresentasikan pengurangan sekitar satu orde besaran. Arsitektur ini memungkinkan perangkat individual yang gagal diganti tanpa harus mengeluarkan seluruh server dari layanan. Pemisahan tersebut dapat mengurangi jumlah perangkat keras yang masih berfungsi namun ikut dilepas saat terjadi kegagalan, meskipun manfaat operasional aktualnya akan bergantung pada implementasi.

Saat pengumuman tersebut, Myoungsoo Jung, CEO Panmnesia, mengatakan, “CXL enables the entire datacenter to operate as a single computing system.” Arsitektur ini masih menghadapi batas fisik karena pensinyalan CXL elektrik hanya mencapai sekitar tujuh meter pada 128 GT/s dengan dua retimer. Karena itu, Panmnesia mengusulkan tautan CXL optik untuk jarak yang lebih jauh, dan menyatakan telah menyelesaikan validasi proof-of-concept perangkat keras untuk pendekatan tersebut.

Proyek ini menjadi bagian dari rangkaian inisiatif Meta dalam mengembangkan infrastruktur AI. Sebelumnya, perusahaan juga dikaitkan dengan berbagai langkah efisiensi data center, termasuk pemanfaatan kembali memori DDR4 dalam jumlah besar menggunakan teknologi CXL untuk menghindari biaya RAM yang tinggi. Langkah tersebut sejalan dengan upaya Meta mengoptimalkan sumber daya komputasi di tengah kebutuhan pemrosesan AI yang terus meningkat.

Selain itu, Meta juga tengah menghadapi sejumlah dinamika lain di ranah teknologi dan hukum. Perusahaan ini sempat menjadi sorotan terkait pengembangan perangkat berbasis Horizon OS, serta menghadapi gugatan terkait penggunaan data biometrik pada fitur AI-nya. Namun, fokus utama pengembangan arsitektur CXL bersama Panmnesia tetap pada upaya menciptakan sistem komputasi tunggal yang mampu menangani beban kerja AI berskala besar secara lebih efisien dan konsisten.

Dengan kemampuan mengoordinasikan hingga 960 akselerator dalam satu domain koherensi dan menekan latensi antar-rak hingga level nanodetik, arsitektur ini menawarkan pendekatan berbeda dalam membangun infrastruktur AI. Keberhasilan implementasinya akan bergantung pada kesiapan perangkat keras, termasuk switch dan fabric controller yang telah melalui validasi silikon, serta pengembangan tautan CXL optik untuk mengatasi batas jarak pensinyalan elektrik.

[ META_DESCRIPTION]
Meta dan Panmnesia kembangkan data center AI berbasis CXL yang mampu menyatukan hingga 960 akselerator dalam satu domain koherensi.