Telset.id – JEDEC baru saja merilis spesifikasi baru yang bertujuan menekan harga memori HBM ultra-mahal yang selama ini menjadi tulang punggung prosesor AI tercepat. Standar baru ini, bernama SPHBM4 (Standard Package High Bandwidth Memory), memungkinkan pemasangan tumpukan memori HBM4 tanpa memerlukan teknologi pengemasan canggih dan substrat organik murah.
Meskipun tidak akan membantu mengatasi kelangkaan DRAM karena masih menggunakan perangkat HBM4 berukuran besar, standar ini berpotensi membuat memori bandwidth tinggi menjadi sedikit lebih terjangkau. JEDEC telah mempublikasikan spesifikasi JESD330-4 yang menggabungkan IC DRAM HBM4 dengan pengemasan standar dan antarmuka ‘sempit’ 512-bit berkecepatan tinggi.
Performa HBM4 dengan Antarmuka 512-bit
Meskipun antarmuka 1024-bit dan 2048-bit pada HBM3 dan HBM4 memberikan performa tak tertandingi, lebar antarmuka tersebut memakan area silikon yang signifikan di dalam prosesor. Mereka juga memerlukan interposer mahal dan teknologi pengemasan canggih dengan kapasitas terbatas, seperti TSMC CoWoS, untuk integrasi dengan prosesor utama.
SPHBM4 yang akan datang tetap menggunakan tumpukan DRAM HBM4 yang sama dengan JESD270-4, tetapi mengganti base die HBM konvensional dengan PHY/buffer die SPHBM4 baru. Base die baru ini menampilkan antarmuka 512-bit yang lebih sempit, memungkinkan pemasangan pada substrat organik standar tanpa metode pengemasan canggih.
Untuk mengimbangi efek antarmuka yang lebih sempit, SPHBM4 mendukung kecepatan transfer data yang jauh lebih tinggi, mulai dari 22,4 GT/s hingga 46,0 GT/s. Alih-alih terhubung ke prosesor utama menggunakan antarmuka memori 2048-bit seperti HBM4, SPHBM4 menggunakan 32 saluran DDR 16-bit independen yang diatur menjadi delapan Quad Channel.
Secara internal, tumpukan HBM4 berisi 32 saluran memori, masing-masing selebar 64 bit, dengan total lebar antarmuka eksternal 2048 bit. SPHBM4 perlu ‘mengonversi’ I/O internal 2048-bit ke antarmuka eksternal 512-bit. Inilah sebabnya ia mengelompokkan setiap empat saluran HBM4 ke dalam Quad Channel. Hasilnya, secara eksternal, Quad Channel mengekspos 64 pin data (4 × 16 bit), menggantikan 256 pin data (4 × 64 bit) yang biasanya dibutuhkan oleh empat saluran HBM4 tersebut. Untuk mempertahankan bandwidth, 64 pin ini beroperasi pada kecepatan data empat kali lipat dari antarmuka HBM4 asli.
Meskipun SPHBM4 secara dramatis meningkatkan bandwidth I/O, ia tidak membuat susunan DRAM itu sendiri lebih cepat. Inti memori HBM4 mempertahankan arsitektur dan waktu fundamental yang sama, termasuk frekuensi inti, aktivasi baris, precharge, dan operasi refresh, meskipun PHY tambahan diperkirakan akan menimbulkan latensi. Misalnya, inti DRAM berjalan hanya pada seperempat frekuensi antarmuka eksternal, yang berarti 2 GHz dalam kasus SPHBM4 dengan bin kecepatan 32 GT/s.
Baca Juga:
Perubahan utama adalah base die baru, yang mengimplementasikan PHY mirip SerDes berkecepatan tinggi. PHY ini memetakan setiap saluran eksternal 16-bit ke empat saluran HBM4 64-bit konvensional. Akibatnya, SPHBM4 memperkenalkan equalization, lane training, persyaratan BER, dan fitur pensinyalan kecepatan tinggi lainnya yang tidak diperlukan dalam antarmuka paralel lebar HBM4 yang lebih lambat.
Untuk mendukung kecepatan transfer hingga 46,0 GT/s per pin, setiap Quad Channel menggunakan antarmuka command/address bersama yang dilindungi oleh forward error correction (FEC). Sementara itu, transfer data mengandalkan clock write (WCK) dan read (RCK) diferensial khusus, serta sinyal ECC dan error-reporting.
Dalam hal kapasitas, SPHBM4 dapat menggunakan tumpukan yang berisi 4, 8, 12, atau 16 die DRAM dengan kepadatan 24 Gb atau 32 Gb. Konfigurasi SPHBM4 terstandarisasi terbesar adalah tumpukan memori 64 GB yang dibangun dari enam belas die DRAM 32 Gb, identik dengan kapasitas maksimum yang didukung HBM4E.
HBM Murah Akhirnya Terwujud?
Standar ini mendukung bump pitch lebih besar dari 90 µm dan jangkauan saluran hingga 20 mm. Dua fitur ini memungkinkan penghilangan interposer mahal dan penggunaan routing substrat organik yang lebih murah. Namun, menghilangkan interposer dan pengemasan CoWoS (atau sejenisnya) tidak secara otomatis membuat SPHBM4 murah.
SPHBM4 masih memerlukan IC DRAM HBM4 besar, pengemasan 2.5D, base die kompleks (yang kemungkinan lebih mahal daripada yang digunakan HBM4 konvensional), dan perakitan paket canggih dengan through-silicon vias. Selain itu, antarmuka sempit SPHBM4 mengkonsumsi lebih sedikit perimeter die dan area silikon di dalam prosesor. Ini membuatnya lebih menarik bagi perusahaan yang ingin memasang lebih banyak kemampuan komputasi dan/atau berniat memasang lebih banyak tumpukan memori di sekitar prosesor mereka.
Meski demikian, kita masih berbicara tentang teknologi memori berperforma tinggi khusus yang akan menangani aplikasi tertentu dan hampir tidak akan bersaing langsung dengan HBM4. Dalam hal performa maksimum, HBM4 memindahkan data pada 8 GT/s, sehingga satu tumpukan HBM4 dapat menawarkan bandwidth 2 TB/s. HBM4E diatur untuk meningkatkan kecepatan transfer data menjadi 12 – 12,8 GT/s, sehingga meningkatkan bandwidth puncak menjadi 3 – 3,3 TB/s per tumpukan.
Sebagai perbandingan, satu SPHBM4 dengan antarmuka 46 GT/s dapat mencapai 2,944 TB/s, meskipun versi awal SPHBM4 diperkirakan tidak akan mencapai kecepatan maksimum. Oleh karena itu, kemungkinan HBM4, HBM4E, dan C-HBM4E akan mempertahankan keunggulan performa dalam hal bandwidth dibandingkan SPHBM4 dalam waktu dekat.
Latensi HBM4 kemungkinan masih akan unggul dibandingkan SPHBM4. HBM4 pada dasarnya terhubung ke prosesor utamanya hampir secara langsung melalui antarmuka yang sangat sederhana. Sebaliknya, SPHBM4 menyisipkan PHY yang jauh lebih canggih yang melakukan serialisasi/deserialisasi, lane training, penanganan FEC, dan operasi lain yang dapat menambah latensi beberapa nanodetik. Ini mungkin bukan masalah besar untuk beberapa aplikasi, tetapi inferensi sangat diuntungkan oleh latensi rendah.
Dalam hal daya dan tegangan, HBM4 dan SPHBM4 berbagi tegangan inti DRAM yang sama karena SPHBM4 menggunakan kembali tumpukan DRAM HBM4 standar. Namun, I/O berbeda: HBM4 menyerahkan tegangan antarmuka kepada vendor memori dan memungkinkan implementasi pada 0,7V, 0,75V, 0,8V, atau 0,9V, tergantung pada keseimbangan yang diinginkan antara daya, kecepatan, dan integritas sinyal. Sebaliknya, SPHBM4 menstandarisasi I/O eksternal pada 0,75V.
HBM4 memindahkan data melalui antarmuka yang sangat lebar dengan banyak tautan paralel lambat yang cenderung sangat hemat energi. Sebaliknya, SPHBM4 memindahkan jumlah data yang sama melalui seperempat jumlah kabel, yang berjalan kira-kira empat kali lebih cepat. Transfer data berkecepatan tinggi cenderung kurang hemat energi dibandingkan transfer data ‘lambat’ melalui antarmuka lebar. Mengingat PHY SPHBM4 yang canggih untuk mengonversi antarmuka lebar menjadi antarmuka sempit, ini kemungkinan merupakan proses yang boros daya.
Namun demikian, jumlah driver dan receiver yang 4X lebih rendah secara nyata dapat mengurangi konsumsi daya SPHBM4. Tanpa detail implementasi dari pembuat DRAM atau pengembang prosesor, tidak mungkin menyimpulkan jenis memori mana yang memiliki konsumsi daya lebih rendah.
Terakhir, SPHBM4 pada dasarnya menukar tantangan manufaktur yang muncul dari penggunaan interposer silikon dengan tantangan teknik dalam mengembangkan base die/PHY yang sangat canggih. Mengembangkan dan memproduksi base die seperti itu seharusnya tidak menjadi masalah bagi pengecoran. Namun, masih harus dilihat apakah pembuat DRAM dapat merancang dan memproduksi SPHBM4 dengan efisiensi daya yang layak. Pasalnya, baik Micron maupun SK hynix bekerja sama dengan TSMC untuk membangun base die C-HBM4E dan HBM4E, sementara divisi memori Samsung menggunakan base die yang diproduksi oleh Samsung Foundry.
Faktor China
Salah satu aspek menarik dari SPHBM4 adalah apakah pengembang akselerator AI China dapat memanfaatkan teknologi ini. Secara teori, pengembang China seperti Biren, Huawei, Moore Threads, dan perusahaan yang masuk daftar hitam lainnya yang tidak dapat menggunakan layanan manufaktur chip atau pengemasan TSMC bisa menjadi salah satu penerima manfaat terbesar SPHBM4, bahkan mungkin lebih dari AS.
Pertama, shoreline yang lebih kecil secara langsung menguntungkan chip yang dibuat menggunakan node trailing, karena memungkinkan pengepakan lebih banyak kemampuan komputasi ke dalamnya tanpa mengorbankan bandwidth atau kapasitas memori. Kedua, OSAT China saat ini tidak menawarkan teknologi mirip CoWoS, sehingga menghilangkan interposer dan menggunakan substrat organik canggih merupakan keuntungan.
Namun, SPHBM4 masih membutuhkan tumpukan DRAM HBM4, dan saat ini Samsung, SK hynix, dan Micron adalah satu-satunya perusahaan yang mampu memproduksinya. Sementara CXMT yang berbasis di China hampir tidak bisa membuat HBM2E. Selain itu, membangun PHY 46 GT/s sangat sulit dan kemungkinan akan menjadi tantangan bagi pengembang IC China. Meskipun demikian, merakit paket SPHBM4 pada substrat organik bisa dibilang lebih selaras dengan basis manufaktur China yang ada. Jadi, jika pembuat DRAM lokal pada akhirnya mengembangkan memori kelas HBM4 yang kompetitif, SPHBM4 secara substansial dapat mengurangi salah satu kesenjangan infrastruktur negara tersebut.
Singkatnya, SPHBM4 JEDEC terlihat seperti standar yang menjanjikan yang berpotensi menjangkau aplikasi yang lebih luas daripada HBM4 itu sendiri karena biaya integrasi yang lebih rendah. Namun, HBM4, HBM4E, dan C-HBM4E akan mempertahankan kepemimpinan performa, yang akan menjadikannya pilihan utama untuk akselerator AI flagship di tahun-tahun mendatang.
Komentar
Belum ada komentar.