Meta dan Panmnesia Rancang Arsitektur CXL untuk 960 GPU AI

Telset.id – Meta tengah mengembangkan desain data center kecerdasan buatan yang memungkinkan hampir 1.000 prosesor beroperasi dalam satu lingkungan koheren. Rancangan ini menggunakan Compute Express Link (CXL) untuk menghubungkan CPU, akselerator, dan memori di berbagai rak tanpa tautan jaringan konvensional. Arsitektur tersebut berpotensi menyatukan hingga 960 akselerator AI dalam satu domain koherensi, sehingga kapasitasnya setara dengan hampir 1.000 GPU yang bekerja sebagai satu sistem.

Meta mengerjakan desain ini bersama Panmnesia. Pendekatan tersebut menjawab masalah yang semakin sulit diatasi ketika sistem pelatihan AI menggabungkan ratusan atau ribuan akselerator yang memproses data dalam jumlah besar. Setiap akselerator harus melewati tahap komputasi berulang, sehingga satu komponen yang tertunda dapat memaksa perangkat lain menunggu sebelum melanjutkan pekerjaannya. Persoalan inilah yang menjadi dasar pengembangan arsitektur CXL tersebut.

Para peneliti berfokus pada pengurangan keterlambatan komunikasi yang tidak dapat diprediksi antar rak. Di wilayah tersebut, jaringan Ethernet atau InfiniBand biasanya menangani koneksi di luar sistem individual. Jaringan semacam itu memerlukan pemrosesan paket dan koordinasi perangkat lunak, yang dapat menimbulkan variasi latensi lebih besar saat beban kerja menyebar ke lebih banyak server.

CXL menyediakan mekanisme koherensi bersama yang memungkinkan prosesor, akselerator, dan memori berpartisipasi dalam satu lingkungan sumber daya yang terhubung. Arsitektur yang diusulkan menambahkan perangkat keras khusus untuk menjaga jalur komunikasi dan perilaku pemrosesan tetap konsisten di seluruh fabric yang lebih besar.

Desain Panmnesia menggunakan switch ber-fan-out tinggi, unit akselerasi tautan, dan pengendali fabric untuk mengelola lalu lintas di seluruh sistem. Komponen-komponen tersebut disusun ke dalam tray, pod, dan fabric, meminjam prinsip organisasi yang biasanya diasosiasikan dengan penataan blok fungsional di dalam chip semikonduktor.

Panmnesia menyatakan bahwa pengendali fabric dan unit akselerasi tautannya telah menyelesaikan validasi silikon. Switch miliknya juga telah difabrikasi, sementara silikon pra-rilis dilaporkan sedang dipasok seiring pengembangan menuju produk komersial.

Hingga 960 Akselerator dalam Satu Domain Koherensi

Tinjauan tersebut membandingkan rancangan yang diusulkan dengan NVIDIA GB200 NVL72, di mana satu CPU secara langsung mengoordinasikan dua akselerator melalui NVLink-C2C. Dalam arsitektur Panmnesia, satu CPU dapat mengoordinasikan 16 akselerator, yang berarti peningkatan delapan kali lipat dibandingkan konfigurasi referensi tersebut.

Menurut desain yang dipublikasikan, sekitar 60 grup semacam itu kemudian dapat membentuk domain koherensi yang berisi sekitar 960 akselerator. Akses lintas rak juga dapat turun dari tingkat mikrodetik menjadi beberapa ratus nanodetik, yang mewakili pengurangan sekitar satu orde besaran.

Arsitektur ini memungkinkan perangkat individual yang gagal diganti tanpa menghentikan seluruh server dari layanan. Pemisahan tersebut dapat mengurangi jumlah perangkat keras yang masih berfungsi namun harus dilepas saat terjadi kegagalan, meskipun manfaat operasional aktualnya akan bergantung pada implementasi.

Dalam pengumuman tersebut, Myoungsoo Jung, CEO Panmnesia, mengatakan, “CXL enables the entire datacenter to operate as a single computing system.”

Arsitektur ini masih menghadapi batas fisik karena pensinyalan CXL elektrik hanya mencapai sekitar tujuh meter pada 128 GT/s dengan dua retimer. Karena itu, Panmnesia mengusulkan tautan CXL optik untuk jarak yang lebih jauh, dan menyatakan telah menyelesaikan validasi proof-of-concept perangkat keras untuk pendekatan tersebut.

Langkah Meta ini menjadi bagian dari rangkaian pengembangan infrastruktur AI yang lebih luas. Sebelumnya, Meta juga dikaitkan dengan upaya agen AI Muse yang turut mendorong kebutuhan kapasitas data center. Selain itu, perusahaan telah mengembangkan pendekatan pemanfaatan panas server untuk pemanas rumah warga Denmark.

Dengan arsitektur CXL yang menghubungkan CPU, akselerator, dan memori dalam satu domain koherensi, koordinasi akselerator dapat meningkat dari dua perangkat menjadi enam belas perangkat per CPU. Rancangan ini menunjukkan arah pengembangan data center AI yang bertumpu pada koherensi menyeluruh, bukan sekadar penambahan jumlah GPU secara terpisah.