Telset.id – Workstation dengan dua kartu AMD Radeon AI PRO R9700 senilai sekitar US$18.775 atau setara Rp18,7 juta lebih murah dibanding langganan cloud GPT-5.6 Sol jika dipakai lebih dari 3,5 jam setiap minggu. Temuan ini muncul dari pengujian seorang reviewer hardware yang membandingkan biaya inference AI milik sendiri versus harga langganan cloud dalam jangka panjang.
Pengujian tersebut memasang dua kartu AMD Radeon AI PRO R9700, masing-masing berkapasitas 32 GB memori, di dalam sebuah workstation. Biaya perangkat yang diuji mencapai sekitar US$18.775. Evaluasi mencakup konsumsi listrik, throughput token, dan biaya hardware yang diamortisasi, lalu dibandingkan dengan sejumlah tingkatan langganan cloud.
Penyedia cloud AI mengenakan tarif per juta token yang dihasilkan, mulai dari US$1,20 untuk GPT-5.6 Luna hingga US$30 untuk GPT-5.6 Sol. Model kelas menengah berada di antaranya, dengan Claude Sonnet 5 dipatok US$10 dan Claude Opus 5 US$25 per juta output token. Semakin mahal model cloud yang biasa dipakai sebuah tim, semakin cepat hardware milik sendiri balik modal.
Throughput dan Titik Balik Biaya
Saat kedua kartu AMD R9700 diuji bersama, workstation tersebut menghasilkan 156,2 token per detik ketika melayani delapan pengguna secara simultan. Teknik kecepatan bernama Multi-Token Prediction hampir menggandakan angka itu, mendorong throughput menjadi 320,2 token per detik dengan kualitas output identik.
Pada kecepatan 320,2 token per detik, mesin tersebut hanya membutuhkan 3,5 jam pemakaian mingguan untuk mengalahkan GPT-5.6 Sol dari sisi biaya, 4,2 jam untuk mengalahkan Claude Opus 5, dan 8,8 jam untuk mengalahkan Gemini 3.1 Pro. Tim yang menghasilkan di atas 20 juta token per bulan dengan acuan harga GPT-5.6 Sol memperoleh penghematan nyata menggunakan perangkat milik sendiri ini.
Pada volume tersebut, menjalankan workstation menelan biaya sekitar US$6.262 per tahun untuk listrik dan hardware yang diamortisasi, berbanding sekitar US$18.000 per tahun untuk biaya Sol yang setara. Selisih US$11.738 per tahun itulah bukti sesungguhnya di balik klaim bahwa pemakaian bulanan yang berat membuat perangkat AMD ini layak.
Namun, jika perusahaan justru mengandalkan GPT-5.6 Luna yang dihargai hanya US$1,20 per juta token, hitungannya berbalik sepenuhnya. Workstation itu kemudian membutuhkan 94,3 jam pemakaian mingguan hanya untuk menyamai total biaya langganan cloud yang jauh lebih murah. Karena satu minggu hanya berisi 168 jam, mencapai titik balik tersebut tetap sulit tanpa pemakaian yang nyaris konstan.
Listrik sendiri menjadi faktor minor sepanjang pengujian, karena kedua kartu bersama-sama menarik daya antara 310 dan 510 watt di bawah beban berkelanjutan. Sebagai perbandingan, teknologi inference AI juga terus berkembang di perangkat lain, seperti yang terlihat pada Fitur AI Lip-Sync Amazon Prime Video.
Baca Juga:
Kapan Ekonomi Berpihak pada AMD
Tim kecil yang hanya memproduksi lima juta token per bulan, dengan acuan harga Gemini 3.1 Pro, akan menghabiskan US$6.262 per tahun untuk menggantikan biaya cloud yang hanya US$720, sebuah kerugian jelas. Perbandingan itu menunjukkan hardware hanya masuk akal secara finansial setelah pemakaian naik cukup tinggi untuk menutup selisih biaya tahunan yang besar.
Satu kartu R9700 saja mampu menangani model AI berparameter delapan miliar secara mandiri, memproses 34,5 token per detik tanpa bantuan kartu kedua. Menjalankan satu kartu juga menurunkan titik balik efektif lebih jauh, karena satu kartu menarik daya jauh lebih sedikit pada beban setara. Kartu tunggal itu menarik antara 221 dan 283 watt tergantung jumlah pengguna simultan, jauh di bawah 310 hingga 510 watt yang ditarik kedua kartu bersama.
Model yang lebih kecil karena itu menawarkan jalur kedua menuju ekonomi yang positif, memungkinkan beban kerja ringan membenarkan pembelian satu kartu seharga US$1.880 jauh sebelum sebuah tim dapat membenarkan upgrade dua kartu penuh senilai US$3.760. Pilihan perangkat keras semacam ini juga relevan bagi pengguna yang memantau perkembangan komponen, seperti pada Model Solid-State Battery BYD.
Harga saja masih belum menyelesaikan persoalan, karena model yang dijalankan secara lokal ini terukur tertinggal dari sistem cloud teratas pada benchmark penalaran kompleks. Pada satu indeks kecerdasan independen, model AMD berparameter 27 miliar mencetak 37 poin berbanding Gemini 3.1 Pro milik Google yang mencetak 46 poin. Karena itu, tim yang mengejar jumlah token lebih murah bisa jadi menukar kualitas penalaran nyata, bukan sekadar biaya langganan cloud.
Tren pengujian otonom dan efisiensi biaya teknologi juga terlihat di sektor lain, misalnya pada Bus Listrik Otonom yang diuji Zürich Airport. Perhitungan biaya inference AI milik sendiri versus cloud pada akhirnya bergantung pada volume token bulanan, durasi pemakaian mingguan, dan toleransi tim terhadap selisih kualitas penalaran model lokal.
Komentar
Belum ada komentar.