Startup Gantikan GPU Nvidia dengan Server AI Prosesor Arm

Telset.id – Majestic Labs, sebuah startup yang didirikan pada 2023 oleh mantan insinyur Google dan Meta, telah meluncurkan server yang dirancang untuk menyaingi kombinasi GPU dan HBM milik Nvidia. Perusahaan yang berbasis di Tel Aviv ini berpendapat bahwa memasangkan prosesor grafis yang mahal dengan memori bandwidth tinggi telah menjadi pendekatan yang fundamental memory-bound dan buntu untuk inferensi AI.

Jawabannya adalah server Prometheus, yang mengganti GPU dengan Ignite AI Processing Units yang menggabungkan inti Arm dengan mesin vektor dan tensor RISC-V. Server ini menjanjikan memori hingga 128TB LPDDR6 dan mengklaim menyediakan memori 1.000 kali lebih banyak per prosesor dibandingkan konfigurasi GPU tradisional.

Pendekatan Berbeda dalam Skala Memori

Setiap server Prometheus dapat menampung hingga 12 AIU, berbagi antara 8 TB hingga 128 TB memori LPDDR6 dalam satu kumpulan memori yang koheren dan berkesinambungan. Kumpulan memori tersebut diakses melalui chiplet agregasi memori khusus yang dihubungkan dengan kabel tembaga hingga panjang satu meter, bukan memori yang terpasang langsung ke paket GPU.

Satu rak standar 40U dapat menampung empat server semacam itu, menarik daya 120 kW total dan didinginkan melalui sistem cairan cold-plate, bukan udara. Sebagai perbandingan, sistem Nvidia DGX B300 dengan delapan GPU Blackwell menawarkan 2,3 TB HBM3e plus hingga 4 TB memori sistem DDR5.

Majestic mengklaim arsitekturnya memberikan lebih dari 50 kali memori cepat dibandingkan konfigurasi pesaing tersebut, bersama dengan 1,7 kali bandwidth interkoneksinya.

“Satu rak Majestic menampung kapasitas memori cepat dari 25 rak Nvidia NVL72 Vera Rubin dengan sebagian kecil daya,” kata Majestic Lab. “Organisasi yang tidak pernah bisa membenarkan infrastruktur hyperscaler kini dapat menjalankan beban kerja apa pun. Bahkan, ada hingga 1000× lebih banyak memori per prosesor.”

Klaim Performa Menunggu Pengujian Lebih Luas

Majestic Labs mengatakan server Prometheus bisa berharga antara 10 hingga 50 kali lebih murah daripada sistem GPU dengan performa setara setelah mulai dikirim tahun depan, sambil mengonsumsi lebih sedikit listrik per rak. Server ini dirancang OCP-compliant dan akan mendukung framework PyTorch, vLLM, dan OpenAI Triton, memungkinkan model AI yang ada berjalan tanpa modifikasi.

Didirikan oleh CEO Ofer Shacham, Presiden Sha Rabii, dan COO Masumi Reynders, perusahaan ini mempekerjakan sekitar 40 orang di Tel Aviv dan Los Angeles dan mengumpulkan dana $100 juta dalam putaran A pada akhir 2025. Perusahaan mengklaim telah menerima pesanan signifikan dari perusahaan besar, neocloud, dan hyperscaler.

Namun, beberapa detail masih belum jelas, termasuk berapa banyak chiplet agregasi memori yang dibutuhkan satu server. Jika konfigurasi 128 TB mengandalkan die LPDDR6 2 GB yang tersedia luas, dibutuhkan sekitar 64.000 die, menyiratkan lebih dari seratus chiplet agregasi per server.

Angka yang disajikan Majestic Labs memang mencolok, tetapi tetap merupakan proyeksi startup itu sendiri sebelum adanya benchmarking independen atau perangkat keras yang dikirim. Pembeli perusahaan yang mempertimbangkan perpindahan dari vendor GPU mapan mungkin harus menunggu validasi independen untuk memverifikasi klaim Majestic.

Perkembangan ini menarik untuk dicermati di tengah dinamika industri teknologi. Beberapa riset mengungkap peran investor dalam ekosistem startup, sementara pendanaan besar seperti yang dilakukan Index Ventures mengumpulkan dana terus mengalir ke sektor ini. Inovasi seperti yang dilakukan Majestic Labs menunjukkan bagaimana teknologi dilisensikan ke startup dapat membuka pendekatan baru dalam komputasi AI.