Telset.id – Praktik konsumsi token AI secara berlebihan atau yang dikenal sebagai tokenmaxxing mulai mencapai batasnya. Sejumlah bisnis dilaporkan menghabiskan anggaran AI tahunan mereka hanya dalam hitungan bulan, sementara sebagian lainnya mulai memberlakukan pembatasan penggunaan AI bagi staf. Kondisi ini memunculkan pertanyaan mendasar tentang cara mengukur nilai investasi AI yang sesungguhnya.
Menurut Greg Holmes, EMEA Field CTO di Apptio, sebuah perusahaan IBM, alih-alih memberi insentif dan mengukur output bisnis, banyak organisasi justru mengukur konsumsi dan penggunaan. Meski memangkas penggunaan AI tampak seperti solusi alami, langkah itu tidak selalu berhasil dalam praktik. Bahkan, pemangkasan bisa berujung pada dihentikannya proyek-proyek yang sebenarnya bermanfaat.
Tanpa cara yang andal untuk mengukur ROI AI, perusahaan cenderung memangkas berdasarkan satu-satunya metrik yang bisa mereka lihat, yaitu konsumsi. Holmes menyoroti bahwa kurangnya tolok ukur kinerja dan ketertelusuran berkontribusi pada buruknya ROI AI. Gartner bahkan memperkirakan 84% pemimpin keuangan belum mampu mengukur ROI dari inisiatif AI.
Bagaimana Situasi Ini Terjadi
Adopsi cepat generative AI telah menghadirkan model konsumsi baru, sehingga manajemen keuangan TI tradisional perlu beradaptasi. Selama ini, organisasi mengoptimalkan anggaran mereka di sekitar beban kerja cloud dan on premises. Namun, alat-alat baru ini berfungsi dengan cara yang berbeda.
Biaya AI bervariasi bergantung pada kompleksitas dan akurasi sebuah prompt, bahkan pada jenis model yang digunakan. Dengan kata lain, variabilitas bawaan LLM membuat pelacakan biaya yang akurat menjadi lebih sulit.
Masalah ini semakin kompleks dengan kehadiran AI agent yang dapat meningkatkan pengeluaran karena konsumsi token yang tidak dapat diprediksi, penggunaan GPU yang berat, dan penskalaan yang cepat. Berbeda dari AI chatbot standar, AI agent bukan alat statis. Agen ini bekerja menggunakan loop latar belakang yang berkelanjutan dan independen dari operator manusia, yang dapat menghasilkan banyak kueri untuk menyelesaikan tugas sulit. Karena loop penalaran ini berjalan secara otonom, memahami berapa biaya menjalankan sebuah agen menjadi lebih rumit.
Perkembangan agen AI ini juga sejalan dengan langkah sejumlah pemain industri yang memperluas pemanfaatan AI untuk kebutuhan bisnis. Meta misalnya, menghadirkan AI Agent untuk membantu proses setup WhatsApp Business.
Titik Buta dalam Pengelolaan Biaya AI
Hambatan lain adalah visibilitas. Karena adopsi alat AI yang cepat, pengeluaran jarang tersentralisasi dan justru tersebar di berbagai unit bisnis, infrastruktur, API vendor, dan tim engineering. Tagihan cloud dan API enterprise juga cenderung tidak diperbarui atau diinterpretasikan secara real-time, sehingga semakin sulit memahami berapa yang telah dibelanjakan.
Akibatnya, terjadi pergeseran cara organisasi mengukur keberhasilan dan pengeluaran. Melacak angka mentah dan terisolasi seperti biaya per token tidak lagi cukup. Agar perusahaan memiliki pemahaman jelas tentang apa yang mereka bayar dan apa yang mereka dapatkan sebagai imbalan, pemimpin tim perlu memiliki kerangka kerja untuk menjaga anggaran tetap terkendali. Praktik keuangan sebuah bisnis harus berkembang secepat adopsi teknologinya.
Pola konsumsi yang tidak terkendali ini juga menjadi perhatian di ranah aplikasi sehari-hari. Sejumlah pengguna sempat menghadapi kendala akun, dan WhatsApp menyebut kesalahan sistem sebagai penyebab banyak akun pengguna terblokir.
Baca Juga:
Nilai di Atas Volume
Lalu, apa yang menggantikan pendekatan trial-and-error yang selama ini mendefinisikan adopsi AI? Holmes menyatakan bahwa setelah bertahun-tahun bekerja dengan bisnis, pertama melalui transisi cloud dan kini enterprise AI, ia melihat bahwa imbal hasil yang berkelanjutan bergantung pada memikirkan ulang cara mendefinisikan dan mengukur produktivitas.
Banyak bisnis mendorong pekerja menggunakan AI di mana pun memungkinkan, tetapi hanya sedikit yang menerapkan metrik AI spesifik yang dapat menghubungkan penggunaan lebih tinggi dengan hasil yang lebih baik. Sebagai contoh, apakah proses membawa produk dari konsep ke produksi menjadi lebih cepat atau lebih murah? Mengukur langkah-langkah perantara seperti code check-in, penutupan tiket, dan penanganan kasus belum tentu selaras dengan nilai bisnis.
Untuk itu, sebuah tolok ukur harus ditetapkan. Bisnis perlu mengetahui berapa biaya sebuah proses, mulai dari tenaga kerja hingga alat, sebelum AI diterapkan, agar dapat mengambil keputusan yang tepat. Tanpa baseline tersebut, setiap keuntungan yang diklaim hanyalah perkiraan.
Di sinilah kerangka kerja seperti Technology Business Management dan FinOps menemukan tempatnya. Kedua praktik ini bertujuan memastikan setiap aspek pengeluaran dipahami dan dikaitkan dengan tujuan bisnis utama. Menurut Holmes, keduanya juga membantu membangun budaya yang menanamkan akuntabilitas di antara tim terkait peran mereka dalam mengelola pengeluaran TI.
Ada kebutuhan untuk meruntuhkan silo yang dapat menyembunyikan biaya, dan sebaliknya berfokus pada memperlakukan pengeluaran teknologi sebagai variabel produk yang bersifat real-time.
Menuju Kecerdasan Finansial yang Berkelanjutan
Untuk membuat kemajuan nyata dan menciptakan nilai dengan AI, tim harus melihatnya sebagai pendorong bisnis yang terukur. Transisi ini menuntut para pemimpin untuk tidak melihat keberhasilan sebagai seberapa sering seorang karyawan menggunakan AI, berapa kali mereka masuk ke alat terbaru, atau sekadar memiliki alat AI sebagai bagian dari proses bisnis.
ROI sesungguhnya baru terwujud ketika perusahaan dapat menghubungkan uang yang dibelanjakan secara langsung dengan hasil yang lebih baik dan berdampak pada output bisnis. Sederhananya, ini tentang mendapatkan gambaran pengeluaran yang jelas dan jujur agar pilihan yang lebih cerdas dapat diambil dan investasi di area yang tepat dapat diprioritaskan.
Hasilnya adalah pemahaman yang lebih akurat tentang biaya dan proyek AI mana yang benar-benar mendorong bisnis maju, bukan sekadar menjadi proyek pencitraan. Pola pemanfaatan AI yang lebih terarah juga terlihat pada inovasi aplikasi, seperti cara membuat stiker WhatsApp dengan ChatGPT untuk Chihuahua.
Pandangan yang disampaikan Holmes ini merupakan bagian dari TechRadar Pro Perspectives, kanal yang menampilkan pemikiran terbaik dari industri teknologi. Pandangan yang diungkapkan adalah milik penulis dan tidak selalu mencerminkan pandangan TechRadar Pro atau Future plc.
Komentar
Belum ada komentar.