Telset.id ā GEEKOM merilis model DeepSeek V4 Flash yang berjalan di empat mini PC A9 Mega sekaligus, membentuk cluster terdistribusi yang ditujukan untuk beban kerja AI tingkat enterprise. Konfigurasi ini menghubungkan perangkat melalui USB4, bukan mengandalkan server data center tradisional.
Setiap unit A9 Mega menggunakan chip AMD Ryzen AI Max+ 395 yang menggabungkan 16 core CPU Zen 5 dengan grafis Radeon 8060S dan memori terpadu dalam satu sasis ringkas. Dengan empat node, total kapasitas RAM cluster mencapai 512GB.
Pendekatan ini menawarkan alternatif bagi organisasi yang ingin memproses data secara lokal. Alih-alih mengirim data ke cloud publik, perusahaan dapat menjaga prompt, dokumen, kode sumber, dan kredensial tetap berada di infrastruktur internal.
Pemrosesan Lokal Menggantikan Ketergantungan Cloud
Konfigurasi empat node menghadirkan RAM gabungan 512GB untuk menjalankan tugas tersebut. Sistem menggunakan Ubuntu, ROCm, dan perangkat lunak DwarfStar untuk mendistribusikan model yang telah dioptimalkan ke seluruh mesin. API yang kompatibel dengan OpenAI menghubungkan aplikasi dan agen AI ke cluster, sementara USB4 menghilangkan kebutuhan akan switch proprietary atau rak server.
Pengaturan ini memungkinkan organisasi membangun asisten pengetahuan privat yang mampu mencari kontrak, manual, dan laporan internal tanpa paparan eksternal. Untuk sistem berbasis agen, GEEKOM menyatakan cluster dapat memproses alat, kebijakan, memori, dan log sebelum mengeksekusi tindakan apa pun, dengan jalur teknis yang telah beroperasi menggunakan konteks hingga 250K token.
Angka Performa Masih Perlu Pengujian Mandiri
Pengujian yang dilaporkan GEEKOM mencatat sekitar 14,61 token per detik pada konkurensi tunggal, sementara P95 time to first token mencapai sekitar 0,42 detik. Perusahaan menyatakan konfigurasi ini juga memberikan kapasitas lebih besar untuk prompt panjang, bukan hanya berfokus pada generasi respons pendek yang lebih cepat.
Pengguna dapat memulai dengan satu atau dua sistem A9 Mega sebelum memperluas konfigurasi hingga empat node seiring meningkatnya beban kerja. Setiap mesin dapat beroperasi secara independen, sementara sistem yang terhubung dapat berkontribusi pada inferensi terdistribusi ketika kapasitas komputasi yang lebih besar diperlukan.
Mini PC A9 Mega sendiri mendukung hingga 128GB memori LPDDR5x, meskipun empat sistem menyediakan kapasitas cluster 512GB yang dinyatakan untuk beban kerja inferensi terdistribusi. Spesifikasinya mencakup performa berkelanjutan 120W, dua slot penyimpanan M.2 PCIe Gen4x4, dan dukungan hingga 8TB penyimpanan konfigurasi RAID.
GEEKOM mencantumkan harga A9 Mega di angka $3.999 untuk konfigurasi dengan RAM 128GB dan SSD 2TB, sementara cluster empat sistem mencapai $16.000. Unit individual juga membawa total output pemrosesan 126 TOPS dengan daya desain termal berkelanjutan 120W. Perangkat ini mendukung Wi-Fi 7, Bluetooth 5.4, dual Ethernet 2.5G, dan empat tampilan 8K simultan untuk lingkungan profesional.
Perlu dicatat bahwa nilai performa di atas merupakan benchmark yang disediakan vendor tanpa pengujian pihak ketiga. Keandalan pengaturan ini untuk penggunaan enterprise berkelanjutan belum dikonfirmasi secara independen. Bagi organisasi yang mempertimbangkan solusi AI lokal, pendekatan cluster USB4 dari GEEKOM ini menawarkan jalur yang menarik untuk memulai dari skala kecil sebelum berkembang sesuai kebutuhan.
Komentar
Belum ada komentar.