Telset.id – Tiny Corp memperkenalkan tinybox Red Kimi, workstation seharga US$30.000 yang dirancang untuk menjalankan model AI Moonshot AI Kimi K3 berparameter 2,8 triliun langsung dari meja kerja, bukan dari data center. Mesin ini memadukan empat kartu grafis AMD Radeon AI Pro R9700 dengan enam belas SSD NVMe berkapasitas 1 TB, menjadikannya salah satu solusi paling agresif untuk mengoperasikan model AI kelas frontier secara lokal.
Harga US$30.000 atau sekitar Rp480 jutaan tersebut menempatkan Red Kimi sebagai opsi mahal untuk sebuah komputer desktop. Namun, Tiny Corp memposisikannya sebagai jalan termurah untuk mempertahankan presisi native Kimi K3 di satu meja, di tengah alternatif lain yang harganya jauh lebih tinggi atau belum tersedia.
Setiap kartu Radeon AI Pro R9700 membawa memori GDDR6 32 GB dengan bandwidth 640 GB/s. Dengan empat kartu, total memori GPU mencapai 128 GB dan bandwidth agregat 2.560 GB/s. Sistem ini dibangun di atas platform G5 milik Tiny Corp, menggunakan prosesor AMD Epyc Genoa 32 inti yang model persisnya tidak disebutkan di konfigurator tinybox, serta memori sistem DDR5 32 GB.
Penyimpanan Flash Jadi Kunci
Keunikan Red Kimi terletak pada konfigurasi penyimpanannya. Enam belas drive yang digunakan membentuk RAID array dengan rating 238,4 GB/s. Tiny Corp menyatakan perangkat lunak tinygrad kini menyertakan driver yang memungkinkan GPU AMD mengendalikan drive NVMe secara langsung, tanpa merutekan setiap pembacaan melalui CPU. Perusahaan membagikan topologi sistem ini di X dan memposisikan hasilnya sebagai “frontier models at home at usable speeds for a good price”.
Alasan di balik pendekatan ini adalah kapasitas. Kartu model Moonshot menunjukkan Kimi K3 hadir dengan bobot native MXFP4, dan Hyperstack mengukur checkpoint yang dipublikasikan sekitar 1,56 TB. Keempat GPU hanya dapat menampung sekitar 8% dari bobot tersebut, sehingga sisanya harus disimpan di tempat lain, dan Tiny Corp memilih flash yang jauh lebih murah dibanding DRAM.
Konsep ini bukan sepenuhnya baru. Peneliti dari Nvidia dan University of Illinois pernah mempresentasikan akses SSD yang diinisiasi GPU dalam arsitektur sistem BaM di ASPLOS 2023, yang memperlakukan penyimpanan sebagai lapisan memori akselerator tambahan. Namun, penawaran Tiny Corp adalah versi yang benar-benar berjalan pada kartu workstation AMD, di dalam kotak yang bisa dipesan.
Baca Juga:
Klaim 40 Token per Detik
Tiny Corp mengklaim mesin ini dapat menjalankan Kimi K3 pada kecepatan 40 token per detik. Angka tersebut belum diuji oleh pihak mana pun di luar perusahaan. Kimi K3 merupakan model mixture-of-experts yang mengaktifkan 16 dari 896 routed experts, ditambah dua shared experts, sehingga total parameter aktif mencapai 104 miliar per token. Pada MXFP4 dengan efektivitas 4,25 bit per bobot, artinya setidaknya 55 GB bobot harus dibaca untuk setiap token yang dihasilkan.
Jika seluruh byte tersebut dibaca dari SSD, array hanya mampu menghasilkan sekitar empat token per detik. Untuk mencapai 40 token per detik, sistem perlu memindahkan sekitar 2,2 TB/s bobot, atau sekitar 86% dari bandwidth memori gabungan keempat GPU, sementara SSD paling banyak menyumbang sekitar 6 GB per token atau sekitar 11% dari kebutuhan tiap token.
Dengan kata lain, klaim tersebut hanya masuk akal jika 128 GB memori GPU sudah menampung hampir seluruh bobot yang disentuh setiap token, meskipun kapasitas itu kurang dari sepersepuluh ukuran model. Hal ini dapat tercapai bila pemilihan expert cukup dapat diprediksi untuk di-cache dengan baik, atau bila Tiny Corp menjalankan kuantisasi presisi lebih rendah dari format native Moonshot, speculative decoding, atau kombinasi ketiganya. Tiny Corp belum mempublikasikan presisi, panjang konteks, ukuran batch, maupun metode di balik angka tersebut, sehingga angka itu sebaiknya diperlakukan sebagai klaim produsen.
Angka bandwidth agregat juga mengasumsikan beban kerja terbagi merata ke empat kartu yang berkomunikasi melalui PCIe. Kode konfigurator memperkirakan bobot terpasang Red Kimi sekitar 56 pon, dalam chassis berukuran lebar 12 inci, tinggi 19,25 inci, dan kedalaman 18 inci. Konfigurator juga menaikkan rating kebisingan dari di bawah 50 dB menjadi di bawah 60 dB untuk build R9700, dengan peringatan bahwa kipas blower kartu tersebut “audible”.
Bersaing dengan Mac Studio dan DGX Station
Pada harga US$30.000, Red Kimi memang mahal untuk ukuran komputer desktop, tetapi alternatif untuk menjalankan model berparameter 2,8 triliun secara lokal tidak lebih murah. Apple Mac Studio dengan M5 Ultra dan memori unified 512 GB dibanderol mulai US$22.299 dan mencapai US$29.799 dengan SSD 16 TB, menurut laporan Macworld, hanya US$201 lebih murah dari kotak Tiny Corp. Mac Studio menawarkan memori cepat empat kali lipat pada 1,2 TB/s menurut Apple, tetapi 512 GB tetap tidak cukup menampung checkpoint native K3.
Nvidia DGX Station berbasis GB300 dijual hampir US$91.100 dengan memori 748 GB, yang juga masih kurang. AMD Threadripper Halo Station dengan memori gabungan hingga 2,6 TB akan muat menjalankan model ini dengan nyaman, tetapi baru tersedia pada 2027, dan estimasi industri menempatkan harga sistem penuhnya sekitar US$150.000.
Di tengah kompetisi yang mahal tersebut, Red Kimi disebut sebagai cara termurah untuk mempertahankan presisi native Kimi K3 di satu meja. Konsekuensinya, mesin ini meminta flash melakukan tugas memori, dan setiap token per detik yang dihasilkan bergantung pada seberapa baik taruhan itu berjalan. Hingga ada pihak di luar Tiny Corp yang menguji angkanya, “usable speeds” masih menjadi janji, bukan hasil.
Kebutuhan daya komputasi untuk menjalankan model AI besar juga berdampak pada konsumsi energi. Isu serupa pernah dibahas dalam artikel tentang tagihan listrik rumah yang naik akibat data center AI, serta laporan bahwa listrik rumah naik menjadi konsekuensi nyata dari beban komputasi tersebut.
Komentar
Belum ada komentar.