Telset.id – CEO Rebellions, Sunghyun Park, menegaskan bahwa chip untuk AI training dan AI inference membutuhkan desain yang berbeda secara fundamental. Pernyataan ini muncul di tengah pergeseran fokus industri kecerdasan buatan dari sekadar membangun model yang lebih besar menuju efisiensi yang lebih tinggi.
Menurut Park, perbedaan ini terjadi karena training dan inference adalah dua masalah yang berbeda secara fundamental. Training adalah proses membangun model yang terjadi sekali dan melibatkan sedikit organisasi, sementara inference adalah bagaimana model benar-benar digunakan, miliaran kali sehari di hampir semua industri.
“Dua pekerjaan itu membutuhkan fisika yang berbeda. Training membutuhkan FLOPS maksimum. Inference membutuhkan efisiensi, keandalan, dan ekonomi yang bertahan saat Anda melayani pengguna dalam skala besar,” jelas Park dalam wawancara eksklusif dengan TechRadar.
Rebellions sendiri memposisikan diri sebagai perusahaan yang membangun chip khusus untuk inference sejak awal. Berdiri pada tahun 2020, perusahaan ini merancang arsitektur di sekitar apa yang benar-benar dibutuhkan oleh produksi AI, bukan meretrofit chip training.
Efisiensi Daya dan Biaya Jadi Keunggulan Utama
Park mengungkapkan bahwa rak milik Rebellions hanya mengonsumsi sekitar 16-20kW, dibandingkan dengan sekitar 120kW untuk sistem inference berbasis GPU terkemuka. Biaya akuisisi juga disebut sekitar sepertiga dari harga pesaing, membuat AI inference lebih terjangkau dan membantu perusahaan menerapkan AI secara lebih luas.
“Rak kami mengonsumsi 16-20kW versus sekitar 120kW untuk sistem inference berbasis GPU terkemuka, sekitar seperenam daya, di pasar di mana daya adalah kendala pengikat bagi sebagian besar operator,” ujar Park.
Biaya akuisisi per rak mencapai sekitar $10 juta versus sekitar $30 juta, sekitar sepertiga dari biaya. Arsitektur berbasis chiplet juga memungkinkan skalabilitas yang lebih baik tanpa harus bertaruh bahwa satu perangkat dapat menangani ukuran model secara penuh.
Baca Juga:
Pendekatan Rebellions berfokus pada memori, bukan komputasi. Pendekatan chiplet ada untuk menjaga memori tetap dekat dengan logika saat model diskalakan, bukan hanya menambahkan core. Perusahaan ini juga telah memiliki tiga tahun penerapan produksi di belakang arsitektur tersebut.
“Itulah bagian tersulit untuk direplikasi: beban kerja nyata, berjalan dalam skala besar, hari ini,” tegas Park.
Pergeseran dari Chiplet ke Memori
Park menjelaskan bahwa percakapan tentang chiplet adalah tentang arsitektur: memecah chip menjadi modul modular yang dapat diskalakan secara independen. Namun, sekarang percakapan telah bergeser ke memori karena kendala fisik menjadi lebih nyata.
“Percakapan memori adalah lapisan di bawahnya. Setelah masalah arsitektur terpecahkan, kendalanya menjadi fisik: dapatkah Anda benar-benar mendapatkan cukup high-bandwidth memory (HBM) untuk membangun apa yang telah Anda desain?” jelas Park.
HBM adalah memori 3D-stacked, dan seberapa dekat Anda dapat menumpuknya secara fisik dengan komputasi menjadi hambatan yang sama besarnya dengan pasokan mentah. Setiap perusahaan akselerator AI bersaing untuk pasokan terbatas yang sama saat ini, dan permintaan telah melampaui apa yang dapat diproduksi oleh pembuat memori.
Rebellions memiliki posisi berbeda karena hubungan investornya dibangun di sekitar pasokan, bukan hanya modal. Mitra memori perusahaan juga merupakan investor, dan mereka merancang arsitektur memori secara langsung terhadap peta jalan mitra, bukan hanya membeli dari mereka.
Pencurian Kabel data center yang meningkat drastis juga menjadi tantangan tersendiri bagi operator infrastruktur AI di berbagai negara.
Open Source dan Standar Terbuka
Rebellions membangun seluruh tumpukannya di atas kerangka kerja open source seperti vLLM, PyTorch, Kubernetes, dan Red Hat OpenShift. Park mengakui bahwa pendekatan ini membuat adopsi relatif mudah, meskipun bukan berarti tanpa pekerjaan.
“Kami membangun sepenuhnya di atas standar terbuka: vLLM, PyTorch, Kubernetes, dan Red Hat OpenShift. Kami adalah salah satu dari hanya dua perusahaan chip di PyTorch Foundation, dan satu-satunya perusahaan akselerator AI yang terintegrasi penuh dengan OpenShift,” jelas Park.
Seorang pengembang yang sudah tahu cara menjalankan inference di infrastruktur yang ada sudah tahu cara menjalankannya di infrastruktur Rebellions. Tidak ada runtime kepemilikan yang harus dipelajari dan tidak ada proyek migrasi.
“Bagian itu benar-benar hampir plug-and-play,” tambah Park.
Generasi pertama perusahaan chip AI masing-masing membangun tumpukan perangkat lunak kepemilikan, dan ratusan juta dolar masuk ke perangkat lunak yang tidak bertahan. Rebellions datang ke pasar setelah ekosistem open source matang dan memilih untuk membangun di atasnya daripada memforknya.
Tantangan Inference di Luar Hyperscaler
Park mengidentifikasi dua tantangan utama yang dihadapi organisasi saat menjalankan AI inference di luar platform hyperscaler. Pertama adalah tantangan fisik: sebagian besar perusahaan, operator telekomunikasi, dan pemerintah sudah memiliki pusat data yang tidak bisa menunggu dua hingga tiga tahun untuk yang baru.
“Pertanyaan praktisnya adalah apakah perangkat keras inference dapat berjalan pada apa yang sudah mereka miliki: rak standar, pendingin udara, dan anggaran daya yang ada,” jelas Park.
Kedua adalah kedaulatan data. Organisasi semakin ingin membawa komputasi ke tempat data mereka sudah berada, daripada memindahkan data sensitif ke tempat komputasi dihosting. Ini sebagian karena regulasi, sebagian karena operasional.
Rebellions membangun sistem yang berjalan pada 4-5kW per server pada infrastruktur berpendingin udara standar, tanpa perlu desain ulang fasilitas. SK Telecom telah menggunakan perangkat keras Rebellions selama hampir tiga tahun, diskalakan dari kluster kecil hingga mendekati 100 rak dan sekarang memproses 50 juta transaksi API per hari.
KT Cloud juga menjalankan inference real-time pada sistem CCTV jalan raya secara nasional. Keduanya menunjukkan bahwa infrastruktur skala hyperscaler tidak diperlukan untuk menjalankan AI dalam volume yang relevan.
IPO dan Masa Depan Pasar AI
Park menilai bahwa IPO Cerebras dan potensi pencatatan saham dari perusahaan lain di ruang ini memberi sinyal bahwa infrastruktur AI adalah kelas aset yang tahan lama dan dapat diinvestasikan, bukan hanya taruhan yang didukung venture capital.
“Itu memberi tahu pasar publik bahwa silikon AI yang dibangun dengan tujuan khusus adalah nyata, berbeda dari GPU tujuan umum, dan layak mendapatkan modal independen,” ujar Park.
Namun, Park juga memperingatkan bahwa modal yang mengalir ke sektor ini tidak dengan sendirinya menentukan siapa yang menang. Perusahaan yang mendefinisikan dekade berikutnya dari pasar ini belum tentu yang paling banyak didanai.
“Mereka akan menjadi yang memiliki fundamental nyata: pelanggan produksi, skala penerapan, ekonomi yang terbukti, hubungan rantai pasokan yang tahan lama. Itu adalah filter yang berbeda dari ukuran penggalangan dana, dan itulah yang penting begitu pengawasan pasar publik dimulai,” jelas Park.
Rebellions telah membangun menuju filter itu sejak 2020, dengan penerapan produksi dan hubungan pasokan dengan mitra foundry dan memori yang diamankan sebelum industri lain berebut alokasi yang sama.
Proyeksi 12-24 Bulan Ke Depan
Park memproyeksikan bahwa pembangunan di dalam infrastruktur yang ada akan terus dipercepat. Sebagian besar perusahaan, operator telekomunikasi, dan pemerintah tidak menunggu pusat data baru. Mereka menerapkan inference ke fasilitas yang sudah mereka miliki.
Memori tetap menjadi kendala fisik. Pasokan HBM belum mengejar permintaan, dan saat model terus bergerak menuju arsitektur mixture-of-experts dengan triliunan parameter, tekanan itu meningkat, bukan berkurang. Perusahaan dengan hubungan pasokan strategis yang aman akan memiliki keunggulan nyata selama dua tahun ke depan.
“Chiplet adalah cara kita sampai di sana. Kami telah memproduksi massal paket 4-chiplet yang sangat canggih – tingkat integrasi yang sulit dicapai Nvidia,” ungkap Park.
Laporan tahun ini menunjukkan Nvidia telah membangun dan mendemonstrasikan desain Rubin Ultra empat-chiplet, lalu membatalkannya demi arsitektur dual-die karena masalah kemampuan manufaktur. Paket single empat-die mendorong sekitar 7,5-8x melewati batas reticle pada hasil dan biaya.
Lapisan berikutnya yang dibangun Rebellions adalah optimalisasi kinerja HBM3E (memori 3D-stacked) dalam kolaborasi erat dengan memori dan komputasi yang dirancang bersama sejak awal, bukan ditambahkan setelahnya.
“Saat lebih banyak perusahaan di ruang ini go public, modal akan dinilai terhadap fundamental produksi, bukan putaran pendanaan,” pungkas Park.
Poin efisiensi juga penting: saat inference menjadi lebih murah per token, permintaan tidak menyusut, justru meluas, karena kasus penggunaan baru menjadi layak dengan biaya lebih rendah. Itu telah terjadi pada setiap platform komputasi dalam sejarah, dan Park tidak mengharapkan AI inference menjadi pengecualian.
Perkembangan ini juga berdampak pada bagaimana perusahaan seperti Nokia 210, 200, 215, 235 4G dengan tombol AI mulai mengintegrasikan teknologi kecerdasan buatan ke dalam perangkat konsumen.
Pasar chip AI yang terpecah antara arsitektur training-first dan inference-first ini diprediksi akan semakin jelas dalam dua tahun ke depan, seiring dengan meningkatnya kebutuhan akan efisiensi di semua lini industri teknologi.
Bagi perusahaan dan pengembang yang ingin memanfaatkan AI secara lebih efisien, memahami perbedaan fundamental antara training dan inference menjadi kunci untuk memilih infrastruktur yang tepat tanpa membuang sumber daya secara berlebihan.
Komentar
Belum ada komentar.