Telset.id – Samsung memperkenalkan memori LPDDR5X-PIM sebagai produk nyata dalam ajang Hot Chips 2026. Teknologi Processing-in-Memory ini menjanjikan peningkatan performa AI inference hingga 2,28 kali lebih cepat dibandingkan LPDDR5X standar, sekaligus menjawab masalah biaya HBM yang semakin mahal.
Langkah Samsung ini menjadi sorotan karena menghadirkan solusi komputasi dalam memori untuk perangkat edge AI, server, hingga mobile. Dengan tambahan logika kecil di samping sel DRAM, perhitungan dasar dapat dilakukan langsung di dalam memori tanpa harus melalui prosesor, menghilangkan hambatan yang selama ini memperlambat proses AI inference.
Kabar ini muncul di tengah meningkatnya kebutuhan memori untuk kecerdasan buatan. Micron bahkan memperingatkan bahwa permintaan wafer HBM semakin memburuk, sementara biaya memori menjadi bagian terbesar dari biaya chip AI. Samsung membuka presentasinya dengan fakta bahwa porsi biaya memori dalam chip AI terus bertambah, menjadikan LPDDR5X sebagai target ideal untuk teknologi PIM.
Arsitektur dan Cara Kerja LPDDR5X-PIM
Samsung sebenarnya telah memperkenalkan konsep LPDDR5X-PIM pada 2023, bersamaan dengan peluncuran HBM-PIM. Namun, yang dipamerkan di Hot Chips 2026 adalah produk nyata yang telah melalui proses validasi. Perusahaan juga tengah mengembangkan LPDDR6X-PIM dan berharap mendapatkan spesifikasi awal dari JEDEC pada tahun ini.
Dalam arsitektur yang diungkapkan Samsung, setiap bank memori memiliki PIM sendiri. Ini merupakan kemajuan dibandingkan HBM-PIM yang mengharuskan pemotongan bank untuk menampung logika. Bank memori, scale register file, dan source register file memberi makan pohon MAC paralel. Setelah kalkulasi selesai, output baik integer maupun floating point ditulis ke vector register file.
LPDDR5X-PIM dapat beroperasi dalam dua mode: single-bank yang merupakan DRAM tradisional, atau multi-bank untuk mode PIM. Kontroler DRAM konvensional tetap berfungsi, dengan perintah yang beralih antara read/write standar atau read/write PIM tergantung mode yang digunakan. Samsung menggunakan Address Align Mode (AAM) untuk mengatasi masalah reordering dengan DRAM konvensional, dengan memetakan alamat DRAM ke instruksi MAC.
Dalam contoh operasi MAC yang diberikan Samsung, data aktivasi FP8 sebesar 512 byte dipecah menjadi 16 paket 256-bit yang ditulis ke masing-masing bank dan dicatat di Source Register File. Perintah PIMX_RD kemudian membaca data bobot dari bank DRAM, memberi makan pohon MAC bersama data dari SRF. Setelah kalkulasi selesai, vektor output dari setiap operasi ditulis ke Vector Register File.
Setelah kalkulasi selesai, perintah PIMX_WR mentransfer data output kembali ke bank DRAM. Samsung mencatat bahwa tidak perlu ada hubungan 1:1 antara read dan write, namun hal itu berguna untuk contoh ini. Dengan ukuran VRF 1 kbit, maksimal empat kalkulasi dapat ditulis ke VRF. Host kemudian membaca data dari memori dengan beralih ke mode single-bank dan mengeksekusi 16 read untuk mengumpulkan output dari semua bank memori.
Spesifikasi dan Performa Awal
Dari sisi fisik, LPDDR5X-PIM terlihat mirip dengan LPDDR5X biasa. Modul ini menggunakan susunan 561-ball standar seperti LPDDR5X, dengan dua rank 64-bit dan modul 16 GB. Angka kritisnya ada pada bandwidth: dengan LPDDR5X-9600, bandwidth puncak mencapai 76,8 GB/s, namun meningkat delapan kali lipat menjadi 614 GB/s dengan PIM berkat pengurangan perpindahan data dan logika dasar yang tetap lokal. Samsung menggunakan empat die per rank, total delapan die.
Dalam benchmark awal, hasilnya cukup impresif. Pada waktu proses model, Samsung mencatat peningkatan 2,28 kali dengan PIM. Sementara dalam tokens per second (TPS), PIM menawarkan peningkatan performa hingga 3,01 kali. Pengujian dilakukan menggunakan akselerator AI edge dan model Llama 3.1 dengan 8 miliar parameter.
Salah satu peserta sempat mempertanyakan perbedaan output yang dihasilkan. Samsung menjawab bahwa optimasi masih terus dilakukan untuk meningkatkan akurasi, namun perusahaan memperkirakan manfaat performa akan tetap sama. Menariknya, meskipun konsumsi daya puncak akan “jauh lebih tinggi” karena daya tarik bursty dari PIM, Samsung tetap memperkirakan konsumsi daya keseluruhan lebih rendah dibandingkan DRAM konvensional. Hal ini karena pengurangan jumlah perpindahan data antara DRAM dan host.
“Kami tidak mengalami peningkatan daya yang signifikan,” ujar Karam Hwang dari Samsung.
Baca Juga:
LPDDR5X selama ini hanya digunakan pada produk konsumen. Namun, modul serviceable SOCAMM2 memungkinkan Nvidia menggunakan LPDDR5X sebagai memori pilihan untuk CPU Vera, dan Intel juga menggunakan LPDDR5X pada akselerator AI Crescent Island. Meskipun dengan PIM, LPDDR5X tidak mendekati bandwidth HBM, teknologi ini memiliki banyak aplikasi di tempat lain.
Samsung menargetkan pasar server, klien, dan mobile. LPDDR5X-PIM dirancang untuk mempercepat edge AI pada perangkat mobile dan klien, serta hadir di akselerator dengan cakupan lebih rendah seperti Crescent Island. Dengan biaya yang lebih terjangkau dibandingkan HBM dan konsumsi daya yang lebih efisien, teknologi ini berpotensi menjadi jembatan bagi adopsi AI yang lebih luas di berbagai perangkat.
Perkembangan ini juga menarik untuk dicermati mengingat persaingan di pasar chipset mobile semakin ketat. Berbagai vendor terus menghadirkan inovasi, seperti chipset Dimensity 9600 Pro yang bocor di Geekbench dan chipset kustom Dimensity 9500M untuk iQOO. Inovasi memori seperti LPDDR5X-PIM akan menjadi faktor pembeda berikutnya dalam performa AI perangkat.
Komentar
Belum ada komentar.