Telset.id – Tiny Corp resmi memperkenalkan tinybox Red Kimi, workstation seharga US$30.000 atau sekitar Rp30.000 dolar yang dirancang untuk menjalankan model AI Moonshot Kimi K3 berukuran 2,8 triliun parameter langsung dari meja kerja, bukan dari data center. Mesin ini menjadi salah satu cara termurah untuk mempertahankan presisi native Kimi K3 di satu desktop, meski klaim performanya belum diuji pihak independen.
tinybox Red Kimi dibangun di atas platform G5 milik Tiny Corp. Di dalamnya terdapat empat kartu grafis AMD Radeon AI Pro R9700, masing-masing membawa 32 GB GDDR6 dengan bandwidth 640 GB/s. Totalnya, keempat kartu menyediakan 128 GB memori GPU dan bandwidth agregat 2.560 GB/s. Konfigurasi ini dipadukan dengan prosesor 32-core AMD Epyc Genoa yang model persisnya tidak disebutkan di konfigurator tinybox, serta memori sistem DDR5 32 GB.
Daya tarik utama mesin ini ada pada sisi penyimpanan. Tiny Corp memasang enam belas SSD NVMe berkapasitas 1 TB yang membentuk RAID array dengan rating 238,4 GB/s. Perusahaan menyebut perangkat lunak tinygrad kini menyertakan driver yang memungkinkan GPU AMD mengontrol drive NVMe secara langsung, tanpa merutekan setiap pembacaan melalui CPU. Lewat unggahan di X, Tiny Corp memposisikan hasilnya sebagai “frontier models at home at usable speeds for a good price”.
Klaim 40 Token per Detik dan Beban Memori Kimi K3
Tiny Corp mengklaim tinybox Red Kimi mampu menjalankan Kimi K3 pada 40 token per detik. Angka itu belum diuji siapa pun di luar perusahaan. Untuk memahami mengapa klaim tersebut diperdebatkan, penting melihat karakter modelnya. Kimi K3 adalah model mixture-of-experts yang mengaktifkan 16 dari 896 routed experts ditambah dua shared experts, sehingga ada 104 miliar parameter aktif per token.
Model card Moonshot menunjukkan Kimi K3 hadir dengan bobot native MXFP4. Hyperstack mengukur checkpoint yang dipublikasikan sekitar 1,56 TB. Dengan format MXFP4 yang efektif 4,25 bit per bobot, setiap token yang dihasilkan setidaknya membutuhkan pembacaan 55 GB bobot. Keempat GPU hanya bisa menampung sekitar 8% dari total checkpoint, sehingga sisanya harus berada di tempat lain, dan Tiny Corp memilih flash yang jauh lebih murah dibanding DRAM.
Hitungan itu menjelaskan mengapa angka 40 token per detik sulit dicapai jika seluruh byte dibaca dari SSD. Jika semua bobot diambil dari array penyimpanan, sistem hanya mampu menghasilkan sekitar empat token per detik. Untuk mencapai 40 token per detik, mesin harus memindahkan sekitar 2,2 TB/s bobot, atau sekitar 86% dari total bandwidth memori keempat GPU. SSD sendiri paling banyak menyumbang sekitar 6 GB per token, atau sekitar 11% dari kebutuhan tiap token.
Artinya, klaim tersebut hanya masuk akal jika 128 GB memori GPU sudah menyimpan hampir seluruh bobot yang disentuh setiap token, meski kapasitasnya kurang dari sepersepuluh ukuran model. Kondisi itu bisa tercapai bila pemilihan expert cukup mudah diprediksi untuk di-cache, bila Tiny Corp memakai kuantisasi presisi lebih rendah dari format native Moonshot, speculative decoding, atau kombinasi ketiganya. Tiny Corp belum mempublikasikan presisi, panjang konteks, ukuran batch, maupun metode di balik angka tersebut, sehingga klaim itu sebaiknya diperlakukan sebagai klaim produsen.
Baca Juga:
Bersaing dengan Mac Studio hingga DGX Station
Pada harga US$30.000, Red Kimi tergolong mahal untuk sebuah komputer desktop. Namun alternatif untuk menjalankan model 2,8 triliun parameter secara lokal tidak lebih murah. Apple Mac Studio dengan M5 Ultra dan memori unified 512 GB dibanderol mulai US$22.299 dan mencapai US$29.799 dengan SSD 16 TB, menurut laporan Macworld, hanya US$201 lebih murah dari tinybox. Mac Studio menawarkan memori cepat empat kali lipat pada 1,2 TB/s menurut Apple, tetapi 512 GB tetap tidak cukup menampung checkpoint native K3.
Nvidia GB300-based DGX Station dijual hampir US$91.100 dengan memori 748 GB, yang juga masih kurang untuk menampung model secara penuh. AMD Threadripper Halo Station dengan memori gabungan hingga 2,6 TB disebut akan muat menjalankan model ini dengan nyaman, tetapi baru tersedia pada 2027 dan estimasi industri menempatkan harga sistem penuhnya sekitar US$150.000. Di antara kompetitor yang mahal itu, Red Kimi menjadi cara termurah mempertahankan presisi native Kimi K3 di satu meja kerja.
Soal dimensi, kode konfigurator memperkirakan bobot terpasang Red Kimi sekitar 56 pon, dalam chassis berukuran lebar 12 inci, tinggi 19,25 inci, dan kedalaman 18 inci. Konfigurator juga menaikkan rating kebisingan dari di bawah 50 dB menjadi di bawah 60 dB untuk build R9700, dengan peringatan bahwa blower fan kartu tersebut “audible”.
Konsep menempatkan penyimpanan sebagai lapisan memori akselerator sebenarnya bukan hal baru. Peneliti dari Nvidia dan University of Illinois pernah mempresentasikan akses SSD yang diinisiasi GPU dalam arsitektur BaM di ASPLOS 2023, memperlakukan storage sebagai tier memori akselerator lain. Bedanya, tawaran Tiny Corp adalah versi yang benar-benar berjalan di kartu workstation AMD, di dalam kotak yang bisa dipesan.
Bagi pengguna yang mengikuti perkembangan workstation AI lokal, langkah Tiny Corp ini melengkapi rangkaian perangkat sebelumnya. Sebelumnya, Tiny Corp juga menghadirkan Tinygrad Tinybox G4 dengan empat GPU AMD Radeon RX 9070 XT, serta sempat mengubah kebijakan penyediaan GPU lewat langkah Tinybox Hapus Opsi Nvidia.
Yang perlu dicatat, angka bandwidth agregat juga mengasumsikan beban kerja terbagi merata ke empat kartu yang berkomunikasi lewat PCIe. Sampai ada pihak di luar Tiny Corp yang menjalankan pengujian, “usable speeds” masih berstatus janji, bukan hasil. Red Kimi mencapai posisinya dengan meminta flash menjalankan tugas memori, dan setiap token per detik yang dihasilkannya bergantung pada seberapa baik taruhan itu bekerja.
[ META_DESCRIPTION]
Tinybox Red Kimi seharga US$30.000 hadir dengan 4 GPU AMD Radeon AI Pro R9700 dan 16 SSD NVMe untuk menjalankan Kimi K3 2,8 triliun parameter.
Komentar
Belum ada komentar.