Telset.id – Efisiensi pendinginan pada akselerator AI generasi terbaru seperti Nvidia Rubin ternyata berdampak langsung pada peningkatan performa hingga 15 persen. Frore Systems, produsen solusi pendingin yang dibuat menggunakan peralatan kelas semikonduktor, mengklaim teknologi coldplate terbarunya mampu menurunkan suhu junction GPU secara signifikan.
Dalam white paper yang dirilis pekan lalu, Frore Systems memaparkan bahwa perbaikan pada seluruh sistem pendinginan dapat meningkatkan token generation per watt hingga lebih dari 30 persen. Klaim ini didasarkan pada model termal analitis yang mencakup berbagai komponen, mulai dari kemasan GPU, material antarmuka termal (TIM), hingga desain coldplate.
Pendekatan ini menjadi krusial karena akselerator AI modern seperti Nvidia Rubin dapat membuang panas hingga 2.400 W dengan suhu die yang mudah mencapai 95 derajat Celsius atau lebih. Meskipun suhu tersebut tidak serta-merta mengancam ketahanan silikon, arus bocor (leakage current) menjadi masalah utama yang perlu diatasi.
Leakage current meningkat secara eksponensial seiring kenaikan suhu, kira-kira berlipat ganda untuk setiap kenaikan 10 derajat Celsius pada suhu junction maksimum. Kondisi ini membuat transistor switching menjadi kurang efisien, sehingga GPU yang lebih panas membutuhkan voltase lebih tinggi untuk mempertahankan clock speed.
Akibatnya, Dynamic Voltage and Frequency Scaling (DVFS) akan mengurangi clock speed agar tetap berada dalam batas termal, yang pada akhirnya menurunkan performa dan output token. Dengan kata lain, semakin baik sistem pendinginan, semakin tinggi performa dan produksi token yang dihasilkan.
Teknologi LiquidJet dan Efisiensi Termal
Frore Systems membawa pendekatan berbeda dalam pembuatan coldplate dengan meminjam teknik manufaktur dari fabrikasi semikonduktor, yaitu etching dan bonding. Metode ini memungkinkan pembuatan struktur mikro tembaga tiga dimensi yang rumit untuk mengatasi hotspot pada silikon akselerator, sesuatu yang tidak dapat diproduksi dengan mesin tradisional secara efisien.
Desain LiquidJet menampilkan microchannel pendek yang diukir di sekitar hotspot, beberapa tahap pendinginan, dan routing aliran yang dioptimalkan untuk peta kepadatan daya GPU. Berdasarkan analisis perusahaan, teknologi ini mampu menurunkan suhu junction sebesar 6 hingga 12 derajat Celsius dan meningkatkan tokens/Watt sebesar 10 hingga 25 persen untuk Nvidia Rubin.
Penurunan suhu sekitar 10 derajat Celsius diperkirakan setara dengan peningkatan efisiensi token generation sekitar 15 persen. Menariknya, teknologi LiquidJet terbukti lebih efisien pada GPU data center Rubin dibandingkan GPU data center Blackwell karena kepadatan transistor yang lebih tinggi pada generasi terbaru.
Efisiensi coldplate yang lebih baik juga mengubah ekonomi pendinginan fasilitas. Nvidia merancang Rubin untuk beroperasi dengan coolant yang masuk pada suhu hingga 45 derajat Celsius, memungkinkan banyak pusat data AI mengandalkan pendinginan gratis tanpa chiller mekanis. Namun, menurunkan suhu inlet hanya masuk akal secara ekonomi jika energi yang dikonsumsi chiller diimbangi oleh peningkatan token generation.
Karena LiquidJet membutuhkan laju aliran coolant yang lebih rendah untuk mempertahankan suhu junction yang sama, teknologi ini juga mengurangi koefisien kinerja (COP) chiller yang diperlukan. Dalam contoh Frore, Rubin dengan coldplate skived konvensional membutuhkan COP chiller sekitar 6,7 sebelum coolant yang lebih dingin memberikan manfaat efisiensi bersih, sedangkan LiquidJet menurunkan titik impas COP menjadi sekitar 4,1.
Analisis Frore tidak berhenti pada keunggulan sistem pendinginnya sendiri. Model termal analitis perusahaan juga mencakup cara lain untuk menurunkan resistansi termal dan meningkatkan token generation. Salah satu klaim paling menonjol adalah tentang delidding paket GPU, yaitu menghapus IHS dan graphene TIM yang ditempatkan di antara die dan penutup.
Menurut model yang digunakan Frore, GPU Rubin tanpa penutup dapat mengurangi suhu junction hingga 20 derajat Celsius dibandingkan GPU dengan IHS, yang berpotensi meningkatkan tokens per Watt hingga 35 persen. Namun, keandalan mekanis menjadi perhatian utama untuk GPU yang di-delidding.
Tanpa IHS, Rubin yang dikemas menggunakan teknologi CoWoS-L dari TSMC menjadi lebih rentan terhadap retak pada jembatan yang menghubungkan dua die Rubin. Bahkan di era Hopper, beberapa GPU diketahui retak dengan pendingin cair tertentu. Mempertahankan tekanan kontak yang seragam di beberapa die yang terbuka juga jauh lebih sulit dibandingkan prosesor monolitik.
Meskipun demikian, ada hyperscaler yang mengeksplorasi penggunaan GPU Rubin tanpa penutup untuk meningkatkan token generation dan output uang mereka, menurut Frore. Material antarmuka termal juga memainkan peran yang sama pentingnya.
Secara default, Nvidia Rubin dilaporkan menggunakan TIM logam indium cair dengan permukaan kontak berlapis emas untuk mengatasi penalti termal paket berpenutup. Frore berpendapat bahwa paket tanpa penutup yang dipasangkan dengan material phase-change berkinerja tinggi seperti PTM7950 masih menunjukkan resistansi termal keseluruhan yang lebih rendah daripada paket berpenutup dengan logam cair.
Ini menghasilkan keunggulan suhu junction hingga 14 derajat Celsius dan peningkatan tokens/Watt hingga 28 persen, menurut model Frore. Perlu dicatat bahwa analisis ini didasarkan pada model termal analitis, bukan hasil eksperimen. Paper tersebut dibangun di atas persamaan resistansi termal, parameter operasi yang dipublikasikan atau diasumsikan untuk Nvidia Rubin, dan estimasi perusahaan tentang bagaimana desain coldplate yang berbeda mempengaruhi resistansi termal.
Poin utama dari white paper Frore adalah bahwa pendinginan telah menjadi penentu utama profitabilitas pusat data AI. Suhu junction GPU yang lebih rendah meningkatkan efisiensi token generation, bukan sekadar mencegah overheating. Hal ini relevan mengingat persaingan di industri teknologi AI yang semakin ketat.
Bagi operator pusat data, peningkatan efisiensi ini berarti potensi pendapatan yang lebih besar dari infrastruktur yang sama. Sementara itu, keputusan untuk mengadopsi teknologi pendinginan baru seperti LiquidJet atau delidding GPU memerlukan pertimbangan matang antara peningkatan performa dan risiko keandalan mekanis.
Dengan akselerator AI yang semakin haus daya dan menghasilkan panas lebih besar, inovasi di sektor pendinginan menjadi sama pentingnya dengan kemajuan arsitektur chip itu sendiri. Perusahaan seperti pemain chip global kini harus memperhitungkan solusi termal sebagai bagian integral dari strategi performa mereka.
Frore yakin bahwa peningkatan pada seluruh sistem pendinginan, dari kemasan GPU hingga suhu coolant, dapat menjadi kunci untuk membuka potensi penuh dari akselerator AI generasi berikutnya. Dengan berita industri yang terus berkembang, adopsi teknologi pendinginan canggih akan menjadi faktor pembeda bagi pusat data yang ingin memaksimalkan investasi AI mereka.
Komentar
Belum ada komentar.