Telset.id – Nvidia menilai AI lokal akan menjadi arah baru komputasi rumah tangga, seiring makin banyaknya pengguna yang mempertimbangkan menjalankan model AI sendiri di perangkat yang mereka miliki ketimbang menyewa layanan cloud bulanan. Sinyal itu datang langsung dari Adel el Hallak, VP of Product Nvidia, yang mengaku sudah menjalankan DGX Spark di rumahnya untuk mengerjakan tugas AI sepanjang malam.
Dalam wawancara dengan Tom’s Guide, el Hallak menyebut dirinya merasa bersalah jika tidak memulai pekerjaan untuk perangkat AI miliknya sebelum tidur. “Di rumah saya merasa bersalah jika saya tidak memulai pekerjaan saya agar perangkat itu bekerja sepanjang malam,” ujarnya. Menurutnya, perangkat tersebut tidak mengeluarkan suara, dan karena sudah tersambung listrik, ia merasa rugi bila tidak dimanfaatkan untuk kebutuhan personal.
Detail kecil itu, menurut el Hallak, menunjukkan ke mana arah AI terutama AI lokal. Ketika orang yang bertanggung jawab atas strategi produk AI Nvidia saja sudah hidup dengan komputer AI pribadi di rumahnya dan memperlakukannya lebih seperti peralatan rumah tangga ketimbang server, bukan tidak mungkin banyak pengguna lain akan melakukan hal yang sama dalam beberapa tahun ke depan.
Hitung-hitungan Biaya AI Lokal
Saat ini, sebagian besar orang berinteraksi dengan AI melalui browser atau aplikasi. Ketika pengguna memberi perintah ke ChatGPT, Perplexity, atau asisten AI lain, data mereka dikirim ke pusat data dan respons dikembalikan. Cara ini berfungsi, tetapi ada biaya finansial dan privasi. Setiap pertanyaan, dokumen yang diunggah, dan detail personal yang dibagikan tersimpan di infrastruktur milik pihak lain.
el Hallak menilai AI lokal mengubah persamaan itu. “Saya bisa menjalankan model yang cukup baik di sistem saya di rumah,” katanya. Jika model berjalan pada perangkat keras yang dimiliki sendiri, data tidak pernah meninggalkan rumah dan tidak ada langganan bulanan.
Angka yang dipaparkan cukup menarik untuk dicermati. DGX Spark saat ini dijual seharga 4.699 dolar AS, yang menurut Tom’s Guide bukan harga murah. Namun langganan ChatGPT Plus berjalan 20 dolar AS per bulan atau 240 dolar AS per tahun. Dalam lima tahun, totalnya mencapai 1.200 dolar AS dan pengguna tetap tidak memiliki apa pun.
Sebaliknya, Spark menjalankan kueri tanpa batas tanpa penagihan per token, tanpa batas penggunaan, dan tanpa memerlukan internet. Perbandingan ini tentu bukan apel dengan apel. GPT-6 dan Claude jauh lebih mumpuni dibanding model open-source yang dijalankan secara lokal di Spark. Namun untuk sejumlah tugas yang terus bertambah, seperti merangkum dokumen, menyusun email, mencari file sendiri, hingga menjalankan asisten coding, model lokal dengan memori 128GB dan akses ke seluruh CUDA stack Nvidia dinilai lebih dari cukup.
Baca Juga:
Ekosistem AI Lokal Mulai Ramah Konsumen
DGX Spark diluncurkan Oktober lalu sebagai apa yang disebut Nvidia “superkomputer AI terkecil di dunia”. Saat itu, perangkat ini menyasar pengembang, peneliti, dan data scientist. Perangkat ini menjalankan Linux, berbobot 2,6 pon, dan berukuran sebesar Mac Mini. Namun ekosistem yang tumbuh di sekitarnya mulai terlihat lebih ramah konsumen.
Perplexity baru saja meluncurkan Portable Computer, yang mengemas model AI lokal, alat agen, konektor aplikasi, dan runtime sandbox ke dalam satu sistem yang berjalan pada perangkat keras DGX Spark. Setiap tugas dimulai di mesin pengguna. Jika model lokal menemui hal yang tidak bisa ditangani, sistem meminta izin sebelum mengirim satu langkah itu ke cloud. File pengguna tetap berada di tempatnya.
el Hallak melihat ini sebagai tren, bukan pengecualian. Ia menyoroti penyedia harness, yakni perusahaan yang membangun lapisan perangkat lunak antara model dan pengguna, yang membuat proses penyiapan jauh lebih mudah. “Anda tidak melakukan instalasi lewat command line atau pip install. Mereka membuatnya lebih mudah, seperti masa-masa awal menggunakan Windows dan menyiapkan aplikasi. Mereka mengembalikannya ke GUI,” ujarnya.
Pola ini, menurut Tom’s Guide, mirip dengan perjalanan network-attached storage yang berubah dari hobi penggemar menjadi produk yang dijual Synology di Best Buy. Perangkat kerasnya sudah ada bertahun-tahun sebelum perangkat lunaknya membuatnya mudah didekati.
DGX Spark desktop disebut sebagai proof of concept, sementara peluang konsumen sesungguhnya mungkin ada pada RTX Spark laptops. Perangkat ini membawa silikon GB10 yang sama dalam bentuk notebook dan diperkirakan mulai dikirim musim gugur ini dari Dell, HP, Lenovo, Asus, MSI, Acer, dan lainnya. Microsoft sedang membangun Surface Laptop Ultra di sekitar chip tersebut.
Perangkat ini bukan mesin khusus AI. Laptop tersebut menjalankan Windows 11, bisa dipakai bermain game, dan menangani beban kerja laptop konvensional. Namun memori terpadu 128GB berarti perangkat ini juga dapat menjalankan large language model yang akan membuat GPU konsumen saat ini kepayahan. Versi laptop dari apa yang dimiliki el Hallak di rumah, tetapi tanpa batasan Linux saja.
“Fakta bahwa Anda akan memiliki model yang berjalan secara lokal dengan harness dan runtime yang dibuat lebih mudah dipasang, saya pikir itu akan benar-benar menghadirkan AI lokal,” kata el Hallak. Perkembangan ini juga sejalan dengan pergerakan industri lain, seperti yang terlihat pada EPYC Venice dan persaingan chip AI yang makin ketat.
Argumen sesungguhnya bukan soal performa, melainkan kepemilikan. el Hallak menuturkan kisah dari dunia enterprise yang menurutnya bisa diterjemahkan dengan tepat ke konsumen. “Ada masa ketika orang bangga dengan leaderboard dan berapa banyak token yang mereka gunakan. Lalu seseorang di departemen IT mereka menerima tagihannya, dan tiba-tiba saya menjadi pengoptimal biaya,” ujarnya.
Siapa pun yang pernah melihat penggunaan Claude mereka naik atau menyentuh batas tier gratis pasti mengenal perasaan itu. Ketika agen AI makin mumpuni dan mulai menyentuh lebih banyak data personal seperti kalender, email, dan keuangan, pertanyaan tentang di mana pemrosesan dilakukan bukan lagi hal teoretis.
“AI lokal hanya akan membawa lebih banyak token, dan token setara dengan kecerdasan,” kata el Hallak. “Ketika Anda memadukan kecerdasan dengan harness, Anda bisa melakukan banyak hal, lalu runtime mengamankannya.” Atau, seperti yang ia katakan lebih santai: “Pusat data di rumah.”
Perangkat keras lokal juga menjadi sorotan di pasar lain. Perplexity sebelumnya meluncurkan pendekatan local-first yang berjalan di PC pengguna dan meminta izin sebelum menggunakan cloud, sementara Nvidia terus memperluas jangkauan teknologinya ke berbagai perangkat. Langkah ini menambah tekanan pada pemain chip lain, termasuk yang tengah menyiapkan chip AI penantang Nvidia untuk pasar yang sama.
Bagi el Hallak, kepemilikan menjadi pembeda utama. Model yang berjalan di perangkat sendiri berarti tidak ada langganan bulanan, tidak ada batas penggunaan, dan data tetap berada di rumah. Dalam jangka panjang, ia melihat kombinasi kecerdasan model, harness yang memudahkan pemakaian, dan runtime yang mengamankan proses sebagai fondasi AI lokal yang siap masuk ke rumah tangga biasa.
[IMAGE_METADATA_PLACEHOLDER]
Komentar
Belum ada komentar.