Samsung LPDDR5X-PIM Resmi: Memori AI 2,28x Lebih Cepat

Telset.id – Samsung memperkenalkan memori LPDDR5X-PIM sebagai produk nyata di ajang Hot Chips 2026, menawarkan peningkatan performa hingga 2,28x lebih cepat untuk tugas AI inference dibandingkan LPDDR5X standar. Teknologi Processing-in-Memory (PIM) ini hadir sebagai solusi atas mahalnya biaya HBM yang terus meningkat, sekaligus menjawab kebutuhan komputasi AI yang efisien.

Samsung LPDDR5X-PIM menambahkan logika komputasi langsung di dalam memori, memungkinkan perhitungan dasar dilakukan tanpa harus melalui prosesor. Pendekatan ini menghilangkan prosesor sebagai hambatan (bottleneck) dan secara signifikan mempercepat proses AI inference. Dalam pengujian awal, Samsung mencatat peningkatan 2,28x pada model run time dan 3,01x pada tokens per second (TPS) dibandingkan LPDDR5X konvensional.

Konsep PIM sebenarnya sudah diperkenalkan Samsung sejak 2021 melalui HBM stacks yang diuji pada akselerator AMD. Namun, penerapan PIM pada LPDDR5X memiliki alasan yang jelas: HBM terlalu mahal. Samsung membuka presentasinya dengan fakta bahwa memori kini menjadi bagian terbesar dari biaya chip AI, dan porsinya terus bertumbuh. Ditambah lagi dengan kebutuhan daya DDR5 yang tinggi, LPDDR5X menjadi target ideal untuk teknologi PIM.

Samsung sebelumnya memperkenalkan HBM-PIM pada 2023, dan saat itu juga memperkenalkan konsep LPDDR5X-PIM. Yang dibagikan di Hot Chips 2026 adalah produk nyata yang telah melewati proses validasi. Perusahaan juga tengah mengembangkan LPDDR6X-PIM dan berharap mendapatkan spesifikasi awal dari JEDEC tahun ini.

Arsitektur dan Cara Kerja LPDDR5X-PIM

Integrasi PIM ke dalam LPDDR5X memiliki keunggulan dibandingkan HBM-PIM. Setiap memory bank memiliki PIM sendiri, sebuah kemajuan dibandingkan HBM-PIM yang mengharuskan Samsung memotong bank untuk menampung logika. Memory bank, scale register file, dan source register file saling terhubung ke parallel MAC trees. Setelah kalkulasi selesai, output (baik integer maupun floating point) ditulis ke vector register file.

Samsung LPDDR5X-PIM dapat beroperasi dalam dua mode: single-bank (DRAM tradisional) atau multi-bank (PIM). Kontroler DRAM konvensional tetap berfungsi, dengan perintah yang beralih antara read/write standar atau read/write PIM tergantung mode yang digunakan. Tantangan utama menurut Samsung adalah reordering dengan DRAM konvensional, yang diatasi melalui Address Align Mode (AAM). Mode ini memetakan alamat DRAM ke instruksi MAC, menetapkan alamat VRF/SRF berdasarkan alamat RA/CA masing-masing, bukan dari Instruction Register File.

Untuk mendemonstrasikan alur data, Samsung memberikan contoh operasi MAC dengan asumsi parameter bobot (weight) sudah ditulis ke dalam sel dan memori beroperasi dalam mode multi-bank (PIM). Data aktivasi FP8 sebesar 512 bytes dipecah menjadi 16 paket 256-bit, yang ditulis ke masing-masing bank dan dicatat di Source Register File. Perintah PIMX_RD membaca data bobot dari bank DRAM, yang kemudian diproses bersama data dari SRF di MAC trees. Setelah perhitungan selesai, vektor output dari setiap operasi ditulis ke Vector Register File.

Setelah kalkulasi selesai, perintah PIMX_WR mentransfer data output kembali ke bank DRAM. Samsung mencatat tidak perlu ada hubungan 1:1 antara read dan write, meski berguna untuk contoh ini. Dengan ukuran VRF 1 kbit, maksimal empat kalkulasi dapat ditulis ke VRF. Setelah output ditulis kembali ke memory bank, host hanya perlu membaca data dari memori. Host kemudian beralih ke mode single-bank (DRAM konvensional) dan menjalankan 16 read untuk mengumpulkan output dari semua memory bank.

Spesifikasi dan Performa Awal

Samsung LPDDR5X-PIM secara fisik terlihat mirip dengan LPDDR5X biasa. Modul ini menggunakan array 561-ball standar untuk packaging, sama seperti LPDDR5X, dengan dua rank 64-bit dan modul 16 GB. Angka kritisnya ada pada bandwidth: dengan LPDDR5X-9600, bandwidth puncak mencapai 76,8 GB/s, namun meningkat delapan kali lipat dengan PIM menjadi 614 GB/s berkat pengurangan pergerakan data dan logika dasar yang tetap lokal. Samsung menggunakan empat dies per rank, total delapan dies.

Dalam benchmark awal, performa LPDDR5X-PIM terbilang impresif. Pada model run time, Samsung mencatat peningkatan 2,28x dengan PIM, sementara pada tokens per second (TPS), PIM menawarkan peningkatan 3,01x. Pengujian dilakukan menggunakan edge AI accelerator (belum dipastikan jenisnya, kemungkinan early Gaia SoC) dengan menguji Llama 3.1 yang memiliki 8 miliar parameter. Menariknya, output yang dihasilkan berbeda, dan Samsung menyatakan optimasi masih berlangsung untuk meningkatkan akurasi, namun manfaat performa diperkirakan akan tetap sama.

Salah satu keunggulan utama LPDDR5X ada pada namanya: low power. Dengan PIM, konsumsi daya menjadi perhatian, namun Samsung menyatakan tidak mengharapkan konsumsi daya yang lebih tinggi secara keseluruhan dibandingkan DRAM konvensional. Presenter mencatat bahwa konsumsi daya puncak akan “jauh lebih tinggi” karena power draw PIM yang bersifat bursty, tetapi Samsung tetap memperkirakan total daya yang digunakan lebih rendah daripada DRAM konvensional. Hal ini berkaitan dengan pengurangan jumlah read/write tambahan. Meskipun PIM mewakili peningkatan daya, berkurangnya frekuensi perpindahan data antara DRAM dan host akan menghasilkan konsumsi daya keseluruhan yang lebih rendah. “Kami tidak mengalami peningkatan daya yang signifikan,” ujar Karam Hwang dari Samsung.

LPDDR5X hingga saat ini sebagian besar hanya digunakan pada produk konsumen. Namun, modul SOCAMM2 yang dapat diservis memungkinkan Nvidia menggunakan LPDDR5X sebagai pilihan memori untuk CPU Vera. Intel juga menggunakan LPDDR5X pada akselerator AI terbarunya, Crescent Island. Bahkan dengan PIM, LPDDR5X tidak mendekati bandwidth yang tersedia pada HBM, tetapi teknologi ini memiliki banyak aplikasi di tempat lain. Target Samsung untuk server, client, dan mobile menunjukkan bahwa LPDDR5X-PIM akan mempercepat edge AI pada perangkat mobile dan client, serta hadir di akselerator kelas bawah seperti Crescent Island.

Kehadiran LPDDR5X-PIM di Hot Chips 2026 menjadi angin segar bagi industri yang tengah menghadapi krisis biaya memori AI. Dengan menawarkan peningkatan performa signifikan tanpa harus bergantung pada HBM yang mahal, Samsung membuka jalan bagi adopsi AI yang lebih luas di berbagai segmen perangkat. Teknologi ini juga relevan dengan perkembangan prosesor dual-ISA yang diungkap IBM di ajang yang sama, menunjukkan bahwa Hot Chips 2026 menjadi ajang penting bagi inovasi semikonduktor.

Dengan potensi pengurangan biaya dan peningkatan efisiensi, LPDDR5X-PIM dapat menjadi katalis bagi pengembangan perangkat AI yang lebih terjangkau. Samsung sendiri menargetkan teknologi ini untuk berbagai segmen, dari server hingga perangkat mobile, yang berarti dampaknya bisa dirasakan luas oleh konsumen dan industri. Meskipun masih ada tantangan optimasi akurasi yang perlu diselesaikan, langkah Samsung menghadirkan produk nyata dari konsep LPDDR5X-PIM menunjukkan komitmen perusahaan dalam mendemokratisasi akses terhadap komputasi AI berperforma tinggi.