📑 Daftar Isi

Ilustrasi chip inferensi OpenAI Jalapeño yang dikembangkan bersama Broadcom

OpenAI Klaim Chip Jalapeño Kalahkan Nvidia GB300 di Benchmark

Penulis:Nur Hamzah
Terbit:
Diperbarui:
⏱️4 menit membaca
Bagikan:
  • OpenAI mempublikasikan benchmark pertama chip inferensi Jalapeño di ajang Hot Chips
  • Chip ini diklaim 1,5-1,9x lebih tinggi throughput per kilowatt dan 1,7-3,6x lebih rendah latensi vs Nvidia GB200/GB300
  • Daya 700W berbanding 1.200W-1.400W pada akselerator Nvidia
  • Diuji dengan tiga model: GPT-OSS 120B, DeepSeek R1 670B, dan Kimi K2.5 1-triliun parameter
  • Keunggulan terbesar pada latensi rendah: 8,6-104,3x throughput per kilowatt
  • Chip tidak diuji vs Vera Rubin dan tidak bisa untuk training model
  • Paket Jalapeño: 6 tumpukan HBM4, 216 GiB pada 15,4 TB/s
  • OpenAI berencana deploy chip di pusat datanya akhir tahun ini
  • Generasi kedua mendekati tapeout, generasi ketiga dalam pengerjaan
  • OpenAI tetap bergantung pada Nvidia dengan pendanaan US$105 miliar

Telset.id – OpenAI secara resmi mempublikasikan hasil benchmark pertamanya yang mengklaim bahwa chip buatan sendiri, Jalapeño, mampu mengungguli akselerator Nvidia GB300 dalam hal efisiensi dan latensi. Klaim ini disampaikan dalam ajang Hot Chips pada Selasa (25/8/2026), hanya sepekan setelah Nvidia menyetujui pendanaan hingga US$105 miliar untuk pusat data OpenAI.

Dalam pengujian tersebut, Jalapeño yang merupakan ASIC untuk inferensi yang dikembangkan bersama Broadcom, mencatatkan throughput per kilowatt 1,5 hingga 1,9 kali lebih tinggi dibandingkan sistem rack Nvidia GB200 dan GB300. Yang lebih mencolok, chip ini juga menawarkan latensi end-to-end 1,7 hingga 3,6 kali lebih rendah, dengan konsumsi daya hanya 700W dibandingkan pesaingnya yang berdaya 1.200W dan 1.400W.

Pengujian dilakukan menggunakan suite publik InferenceX dari SemiAnalysis yang mencakup tiga model open-source: GPT-OSS 120B, DeepSeek R1 670B, dan model Kimi K2.5 dari Moonshot AI yang memiliki 1 triliun parameter. OpenAI melaporkan keunggulan terbesarnya berada pada titik operasi latensi rendah, di mana klaim throughput per kilowatt mencapai 8,6 hingga 104,3 kali lebih tinggi dibandingkan pengaturan tercepat GB300 sebelumnya.

OpenAI Jalapeño

Perlu dicatat bahwa hasil benchmark ini dinormalisasi berdasarkan TDP paket yang dipublikasikan masing-masing akselerator. OpenAI mengungkapkan daya terukur berkelanjutan Jalapeño berada pada atau di bawah 550W selama pengujian. Jika dibandingkan menggunakan total daya utilitas per akselerator—1,18kW untuk Jalapeño berbanding 2,55kW untuk GB300—selisihnya menjadi lebih sempit. Demikian pula saat Jalapeño dibandingkan dengan GB300 yang menjalankan multi-token prediction, keunggulan efisiensi puncaknya menyusut menjadi sekitar 1,5 kali.

Keterbatasan dan Konteks Persaingan

Meski hasil benchmark terkesan impresif, penting untuk memahami konteksnya. Jalapeño tidak diuji terhadap Vera Rubin, platform Nvidia yang dijadwalkan menjadi bagian dari sistem Nvidia pertama yang akan digunakan OpenAI pada paruh kedua 2026. Selain itu, chip ini tidak digunakan untuk melatih model, sebuah beban kerja di mana perangkat keras Nvidia masih belum tertandingi.

Perbandingan utama juga dilakukan dengan menjalankan single-token prediction pada Jalapeño, sementara penerapan Nvidia umumnya menggunakan multi-token prediction dalam produksi. SemiAnalysis yang mengklaim menjalankan InferenceX bersama para insinyur OpenAI di laboratorium perusahaan, menggambarkan chip ini sebagai produk yang “mengalahkan semua chip Nvidia, AMD, dan Google yang pernah kami uji.”

Setiap paket Jalapeño yang diumumkan pada bulan Juni setelah siklus RTL-to-tapeout selama sembilan bulan, memasangkan die komputasinya dengan enam tumpukan HBM4, total 216 GiB pada kecepatan 15,4 TB/s. Sebagai perbandingan, GB300 membawa 288GB HBM3E dengan rating 1.400W, sehingga per watt daya terukur, chip OpenAI memiliki memori sekitar 50 persen lebih banyak. Presentasi Hot Chips menyatakan bahwa hambatan utama yang menjadi target arsitektur ini adalah mengekspos bandwidth HBM agregat, bukan menambahkan lebih banyak memori.

Dampak pada Pasokan HBM dan Ketergantungan pada Nvidia

Memori HBM memang menjadi komoditas paling ketat di industri semikonduktor saat ini. Samsung, SK hynix, dan Micron telah menjual kapasitas HBM mereka hingga tahun 2027. Kelangkaan ini bahkan memaksa Nvidia dikabarkan menguji konfigurasi Rubin Ultra yang dipangkas dengan memori hanya 192GB. CEO SK hynix, Kwak Noh-jung, telah memperingatkan bahwa 2027 akan menjadi tahun terburuk dari krisis ini.

Micron juga menyampaikan pada konferensi Hot Chips yang sama pada 23 Agustus bahwa HBM mengonsumsi sekitar tiga kali luas wafer DDR5 untuk kapasitas yang setara, sebuah penalti yang melebar seiring setiap generasi. Jika Jalapeño diskalakan melintasi perjanjian penerapan 10GW yang ditandatangani OpenAI dengan Broadcom pada Oktober lalu, perusahaan ini akan menjadi pengklaim baru yang substansial untuk pasokan HBM4, yang saat ini didominasi Nvidia melalui perjanjian alokasi multi-tahun dengan SK hynix.

Chip generasi kedua dikabarkan mendekati tapeout dan diharapkan selesai dalam hitungan bulan, menurut Bloomberg. Pengerjaan konsep untuk generasi ketiga juga sedang berlangsung. Bagian pertama dilaporkan menggunakan proses kelas 3nm dari TSMC, menempatkan OpenAI dalam antrian wafer, memori, dan pengemasan canggih yang sama dengan Blackwell dan Rubin untuk masa mendatang.

Menariknya, OpenAI tengah mengamankan input tersebut sambil memperdalam ketergantungan finansialnya pada perusahaan yang baru saja dibandingkan kinerjanya. Pada 17 Agustus, Nvidia setuju menyediakan pendanaan hingga US$105 miliar untuk kampus pusat data yang disewa OpenAI di Ohio. “Nvidia adalah mitra yang sangat baik, dan kami terus membutuhkan banyak Nvidia,” ujar Richard Ho, wakil presiden perangkat keras OpenAI, kepada Bloomberg dalam wawancara setelah pengumuman tersebut.

Kehadiran Jalapeño menandai langkah signifikan OpenAI dalam diversifikasi rantai pasokan chipnya, meskipun perusahaan masih sangat bergantung pada Nvidia untuk pelatihan model dan sebagian besar kebutuhan komputasinya. Keunggulan efisiensi yang diklaim, terutama pada beban kerja inferensi latensi rendah, dapat memberikan posisi tawar yang lebih kuat bagi OpenAI dalam negosiasi di masa depan. Perusahaan berencana mulai menerapkan chip ini di pusat datanya sendiri pada akhir tahun ini.

Bagi industri, hasil benchmark ini menjadi sinyal bahwa persaingan di pasar akselerator AI semakin ketat. Meskipun Nvidia masih menguasai pangsa pasar, kehadiran pemain baru seperti OpenAI dengan chip khusus inferensi dapat mendorong inovasi dan efisiensi yang lebih besar di seluruh ekosistem. Namun, perlu diingat bahwa hasil benchmark ini masih perlu diverifikasi secara independen dan diuji dalam skenario produksi nyata.

Untuk informasi lebih lanjut seputar perkembangan terbaru OpenAI, kamu dapat membaca artikel tentang investigasi kebocoran model AI atau kabar mengenai kampanye palsu OpenAI Codex yang menargetkan pengguna macOS.

Ikuti Telset.id di Google NewsFollow

Komentar

Belum ada komentar.