Telset.id – Beban biaya AI enterprise tidak lagi soal harga model paling canggih, melainkan seberapa sering model itu dipakai. Emma Cloney, Senior Vice President, International Sales & Strategy and General Manager for Ireland at Core42, menyoroti bahwa saat AI bergerak dari tahap pilot ke produksi, biaya baru muncul terutama yang berkaitan dengan penggunaan. Sebuah proof-of-concept yang dipakai segelintir orang bisa terlihat murah, tetapi menjalankan aplikasi yang sama ribuan kali sehari, atau oleh agen yang memanggil beberapa model untuk satu tugas, adalah persoalan yang sama sekali berbeda.
Inti persoalan efisiensi AI enterprise bukan pada memiliki “Ferrari”, melainkan pada kebiasaan menggunakan model yang sama, bergantung pada pilihan hardware yang sama, atau menempuh jalur deployment yang sama untuk setiap proyek. Cloney menilai fase berikutnya dari AI enterprise menjadi menarik justru ketika efisiensi baru datang dari mencocokkan setiap workload dengan model dan akselerator yang paling sesuai, bukan default ke “mesin” terbesar yang dimiliki perusahaan.
Setiap Model Punya Peran Berbeda
Cloney menyebut ada anggapan populer di kalangan sebagian enterprise bahwa AI adalah latihan pemeringkatan, di mana perusahaan sebaiknya menstandarkan sebanyak mungkin pada model paling pintar yang tersedia. Secara teori terdengar rapi, tetapi anggapan itu mengabaikan perbedaan kompleks antara setiap tugas dan workload AI. Ia memberi contoh: sebuah copilot layanan pelanggan perlu merespons cukup cepat sehingga pengguna tidak menyadari mesin di belakangnya, sementara tugas summarization dokumen besar bisa menunggu lebih lama karena pengguna justru mengharapkan AI “berpikir” lebih cermat.
Aplikasi AI pemerintah, menurut Cloney, cenderung memprioritaskan kedaulatan dan kepemilikan, sehingga di mana dan bagaimana workload berjalan sama pentingnya dengan performa. Logika ini berlaku dari ukuran model hingga infrastruktur di bawahnya. Model kecil sering kali bisa menangani tugas klasifikasi, ekstraksi, dan routing rutin lebih cepat dengan biaya lebih rendah, sementara model menengah mendukung banyak pekerjaan penalaran sehari-hari. Model terbesar dan paling kuat tetap penting, tetapi bisa digunakan lebih selektif ketika kapabilitas dan biayanya terjustifikasi, misalnya untuk penalaran kompleks, perencanaan strategis mendalam, dan tugas berisiko tinggi yang menuntut akurasi serta nuansa.
Untuk memaksimalkan efisiensi token, Cloney menyarankan enterprise mempertimbangkan bagaimana berbagai workload berperilaku dan mengapa tidak semuanya membutuhkan jenis akselerator yang sama. Dengan keragaman silicon yang bisa dipilih, kombinasi model dan hardware dapat disesuaikan dengan kebutuhan berbeda, apakah prioritasnya kecepatan, throughput, biaya, atau kontrol. Alih-alih menyesuaikan setiap workload dengan preferensi yang diasumsikan, tim enterprise sebaiknya memulai dari hasil yang diinginkan. Sebuah retailer yang menjalankan asisten layanan pelanggan punya prioritas berbeda dari departemen pemerintah yang menangani informasi sensitif. Yang pertama cenderung memprioritaskan waktu respons, pengalaman pengguna, dan biaya dalam skala besar, sedangkan yang kedua lebih menekankan kedaulatan, keamanan, dan lokasi berjalannya workload.
Baca Juga:
Membangun di Atas Keragaman Silicon
Jika sebuah organisasi berinvestasi besar pada satu jenis akselerator, ada godaan untuk menjalankan setiap workload melalui perangkat itu. Di sinilah asumsi keliru dalam skala enterprise dapat meningkatkan biaya dengan cepat. Menggunakan hardware yang sama untuk setiap tugas bisa berarti membayar performa berlebih tanpa manfaat bagi pengguna. Aplikasi low-latency membutuhkan hardware yang dioptimalkan untuk responsivitas, sementara workload bervolume tinggi mungkin lebih diuntungkan oleh throughput dan efisiensi biaya. Menjalankan keduanya di infrastruktur yang sama berarti membayar performa yang tidak pernah dipakai salah satunya.
Dalam banyak kasus, membangun di atas keragaman silicon, yaitu akselerator heterogen yang bisa diselaraskan dengan setiap workload, akan memungkinkan enterprise membuat keputusan infrastruktur yang lebih cerdas. Pada sejumlah skenario, organisasi bahkan mungkin memilih menggabungkan hardware dari penyedia berbeda yang saling melengkapi. NVIDIA GPU akan masuk akal untuk banyak skenario enterprise, tetapi pilihan tetap penting. Kemampuan memilih di antara penyedia seperti AMD, Qualcomm, Microsoft, Cerebras, dan lainnya memungkinkan enterprise menyelaraskan infrastruktur dengan kebutuhan spesifik dan meningkatkan efisiensi.
Cloney menyoroti Cerebras sebagai contoh yang menjalankan OpenAI gpt-oss-120b pada sekitar 3.000 token per detik, tingkat kecepatan yang menurutnya sangat berharga untuk aplikasi yang respons time-nya kritis. Lingkungan deployment juga berpengaruh, terutama pada enterprise skala besar atau di tingkat pemerintah, di mana banyak informasi sensitif harus tetap berada dalam yurisdiksi tertentu. Di Eropa, ada permintaan kuat untuk infrastruktur yang dikembangkan di pasar dan dioperasikan sesuai kebutuhan lokal. Bagi enterprise yang beroperasi lintas pasar, pilihan infrastruktur tidak bisa dipisahkan dari pertanyaan data residency dan kontrol lokal. Semakin sering, jawabannya adalah infrastruktur yang sovereign enabled, dengan akselerator di dalam negeri, pricing berbasis konsumsi, dan tanpa komitmen modal di muka, alih-alih satu keputusan hardware yang dibuat sekali dan dijalani bertahun-tahun. Terkunci pada satu jalur menyisakan sedikit ruang untuk merespons ketika kebutuhan berubah.
Persoalan serupa juga muncul di industri data center yang tengah berkembang, seperti terlihat dalam upaya Industri Data Center membangun penerimaan publik. Sementara itu, risiko operasional agen AI yang tidak terkendali menjadi peringatan tersendiri, seperti kasus yang menimpa AI Agent Rogue.
Pertimbangan lain adalah AI spending berperilaku berbeda dari software enterprise tradisional, di mana lisensi punya biaya yang relatif dapat diprediksi. Bisnis akan menghadapi tagihan AI lebih besar ketika sebuah agen mengambil lebih banyak langkah, atau model kuat ditarik ke lebih banyak tugas dari yang diperlukan, sehingga penggunaan itu sendiri menjadi proksi yang buruk untuk nilai. Enterprise mulai memikirkan ulang seberapa bebas karyawan mengonsumsi token, terutama pada peran coding. Uber, misalnya, dilaporkan menghabiskan seluruh anggaran AI 2026-nya dalam empat bulan, sebagian besar untuk Claude Code. Pelajaran dari contoh ini adalah memberi lebih banyak orang lebih banyak token tidak otomatis berarti nilai lebih besar.
Agentic AI memberikan contoh lain. Berbeda dari karyawan yang sesekali mengajukan pertanyaan rutin berdiri sendiri, agen AI dapat bekerja melalui rangkaian langkah panjang, membaca file, menghasilkan kode, mengujinya, dan meninjau output untuk mencari kesalahan. Agentic AI, terutama di coding, bisa sangat mahal dibandingkan reasoning dan chat, dengan penggunaan token yang sangat bervariasi di mana konsumsi yang meningkat tidak selalu memperbaiki akurasi. Karena menghitung token tidak memberikan gambaran lengkap, enterprise sebaiknya mempertimbangkan pengukuran keberhasilan berdasarkan hasil, bukan hanya performa atau kapabilitas. Model AI lebih cepat, hardware lebih kuat, atau agen yang berjalan lebih lama bisa berguna, tetapi hanya ketika hasilnya menjustifikasi apa yang dikonsumsi. Untuk agen layanan pelanggan, itu bisa berupa biaya penyelesaian sebuah kasus; untuk copilot karyawan, apakah karyawan manusia membuat kemajuan lebih cepat atau lebih lengkap pada pekerjaan yang bermakna.
Namun, tujuannya bukan memangkas penggunaan token sama sekali. Pemimpin IT sebaiknya berupaya memahami persis apa yang mereka bayar dan apakah ada business case yang jelas. Itulah definisi efisiensi AI yang dituju Cloney. Alih-alih mengejar penggunaan maksimum atau biaya minimum, CIO dan timnya harus memastikan setiap workload mengembalikan nilai yang cukup untuk menjustifikasi investasi yang dikeluarkan.
Cloney menutup dengan analogi Ferrari yang sebaiknya disimpan untuk sirkuit balap. Akan selalu ada workload AI yang membutuhkan model terbesar dan paling kuat, akselerator tercepat, atau opsi deployment termahal. Intinya adalah berhenti membuat pilihan itu secara default. Fase berikutnya dari AI produksi yang meluas menuntut pendekatan yang lebih deliberatif untuk setiap workload: mulai dari tugas, pilih model yang cukup mampu mengerjakannya dengan baik, jalankan pada akselerator yang sesuai kebutuhan performanya, dan pastikan lingkungan deployment memenuhi persyaratan keamanan serta kedaulatan di sekitarnya. Lalu ukur apakah hasilnya sepadan dengan biayanya.
Pendekatan ini mungkin kurang menarik perhatian, tetapi itulah yang akan membedakan deployment enterprise dan pemerintah yang resilien di skala produksi dari sekadar eksperimen. Seiring AI menjadi bagian dari alur kerja sehari-hari, efisiensi akan semakin berasal dari keputusan yang lebih cerdas tentang di mana setiap kapabilitas dibutuhkan, serta dari ketersediaan keragaman model, silicon, dan opsi deployment untuk menjalankannya. Bagi pelaku industri yang mengikuti perkembangan perangkat, pilihan model dan akselerator ini menjadi bagian dari strategi yang perlu dipantau, sejalan dengan perhatian pada Spesifikasi Lengkap perangkat pendukung operasional.
Komentar
Belum ada komentar.