Telset.id – OpenAI akhirnya mempublikasikan tolok ukur performa pertama untuk chip inferensi Jalapeño yang dikembangkan bersama Broadcom. Hasilnya, chip ini diklaim menawarkan efisiensi daya yang jauh lebih baik dibandingkan sistem rak Nvidia, dengan throughput per kilowatt 1,5 hingga 1,9 kali lebih tinggi dan latensi lebih rendah hingga 3,6 kali lipat.
Pengumuman ini disampaikan OpenAI di ajang Hot Chips pada 25 Agustus. Angka tersebut menjadi sorotan utama karena menempatkan efisiensi sebagai senjata utama Jalapeño, di tengah persaingan ketat pasar akselerator AI yang selama ini didominasi Nvidia.
Richard Ho, yang memimpin program perangkat keras OpenAI, mengatakan kepada wartawan dalam panggilan pers bahwa hasil ini menunjukkan “kemajuan performa yang sangat, sangat signifikan dibandingkan state-of-the-art.” Klaim ini menjadi dasar bagi OpenAI untuk memposisikan diri sebagai pemain serius di pasar chip AI.
Perbandingan Efisiensi dan Spesifikasi Jalapeño
OpenAI menguji Jalapeño menggunakan suite InferenceX milik SemiAnalysis pada tiga model open-source: GPT-OSS 120B, DeepSeek R1 670B, dan Moonshot AI Kimi K2.5 dengan parameter triliunan. Pengujian dilakukan pada 8.000 token input dan 1.000 token output nominal.
Hasilnya, Jalapeño mencetak kemenangan efisiensi 1,9x melawan GB200 pada model GPT-OSS miliknya sendiri, serta 1,7x dan 1,5x pada model DeepSeek dan Moonshot saat dibandingkan dengan sistem GB300. Daya yang dibutuhkan Jalapeño hanya 700W, jauh lebih rendah dibandingkan silikon Nvidia yang berada di angka 1200W dan 1400W.
Perlu dicatat, angka yang dipublikasikan saat ini masih berasal dari silikon A0, versi pertama chip tersebut. OpenAI menyebut varian B0 yang lebih efisien sudah berada di fabrikasi dengan peningkatan performa per watt sekitar 25 persen. Produksi massal dijadwalkan meningkat secara bertahap sepanjang 2027.
Dari sisi spesifikasi, setiap paket Jalapeño memasangkan compute die dengan enam tumpukan HBM4 berkapasitas 216 GiB pada kecepatan 15,4 TB/s. Kapasitas ini lebih kecil dari GB300 yang memiliki 288GB HBM3E, namun bandwidth-nya jauh lebih besar dan menawarkan sekitar 50 persen lebih banyak memori per watt daya terukur.
OpenAI merancang chip ini untuk menjaga state model tetap lokal. Perusahaan menulis bahwa mereka “mendesain Jalapeño untuk meminimalkan pergerakan data dan penundaan komunikasi.” Core dan HBM dibagi menjadi beberapa slice, dengan setiap core slice menyimpan tampilan memorinya sendiri yang low-latency, sementara sinkronisasi didorong ke jaringan kolektif khusus.
Ancaman Nyata bagi Nvidia di Pasar Inferensi
Meski angka efisiensi ini mengesankan, penting untuk dicatat bahwa Nvidia GB300 masih unggul dalam throughput absolut per paket sebesar 20-25 persen. Selain itu, hasil benchmark ini menggunakan prediksi token tunggal tanpa speculative decoding maupun disaggregasi prefill-decode.
Deployment produksi Nvidia umumnya menggunakan multi-token prediction. Ketika OpenAI membandingkan Jalapeño dengan GB300 yang dikonfigurasi dengan cara tersebut, keunggulan efisiensi puncaknya turun menjadi sekitar 1,5x. Ini menunjukkan adanya elemen cherry-picking dalam pemilihan metrik untuk mempercantik hasil.
Menariknya, OpenAI tidak mempublikasikan angka perbandingan antara GPT-OSS 120B yang berjalan di GB300 dengan Jalapeño. Perusahaan juga belum mengungkapkan bagaimana chipnya bertanding melawan Vera Rubin, arsitektur terbaru Nvidia yang menggunakan HBM4 dan digadang-gadang sebagai raja efisiensi.
Alexander Harrowell dari Omdia menyebut ini sebagai “ancaman kompetitif terbesar bagi NVIDIA” dalam wawancaranya dengan CNBC. Ia mencatat bahwa sekitar separuh belanja modal infrastruktur AI berasal dari perusahaan yang sudah menjalankan program chip khusus atau berpotensi melakukannya. Adrien Sanchez dari Yole Group memandang ini sebagai tekanan pada margin inferensi Nvidia, segmen bisnis dengan pertumbuhan tercepat.
Baca Juga:
Timing pengumuman ini juga menarik. Nvidia baru saja menyetujui untuk menopang pembiayaan senilai 105 miliar dolar AS untuk fasilitas OpenAI di Ohio. Namun Richard Ho menegaskan kepada Bloomberg bahwa OpenAI masih membutuhkan banyak chip Nvidia, dan menyebut Nvidia sebagai “partner yang sangat baik.”
Hal ini wajar mengingat keterbatasan Jalapeño sebagai ASIC yang hanya optimal untuk inferensi, sementara chip Nvidia tetap menjadi kunci untuk melatih model AI baru. Bagi Nvidia, situasi ini menjadi pukulan bagi rencana bisnis inferensi margin tinggi, karena salah satu pembeli utama perangkat keras inferensi tidak hanya mencari alternatif buatan sendiri, tetapi sudah dalam tahap pengembangan yang matang.
Meskipun Jalapeño mungkin belum mampu menyaingi Vera Rubin milik Nvidia, chip ini tidak harus melakukannya. Dengan fokus pada efisiensi dan biaya operasional yang lebih rendah, OpenAI telah menunjukkan jalur alternatif yang kredibel di tengah dominasi Nvidia. Ke depannya, persaingan di pasar akselerator AI dipastikan akan semakin menarik untuk diikuti.
[CONTENT_END]
Komentar
Belum ada komentar.