Biaya Infrastruktur AI Global 1000 30% Lebih Tinggi dari Anggaran

Telset.id – IDC memproyeksikan bahwa biaya infrastruktur AI di perusahaan Global 1000 akan melampaui anggaran saat ini hingga 30% pada tahun 2027. Kesenjangan ini mengungkap ketidakcocokan mendasar antara bagaimana beban kerja AI berperilaku di produksi dan bagaimana perencanaan kapasitas TI perusahaan secara historis dilakukan.

Pola ini berulang di berbagai industri. Sebuah proyek percontohan memvalidasi model AI pada dataset yang terkontrol, dan anggaran dibuat berdasarkan ekonomi tersebut. Ketika sistem mulai berjalan di produksi, tagihan seringkali melampaui apa yang dimodelkan oleh siapa pun. Srinivasan Seshadri, Chief Innovation Officer di Aerospike, menjelaskan bahwa insting alami adalah menyalahkan ukuran model atau biaya penggunaan token, namun uang sebenarnya tidak habis di sana. Biaya tersebut berada di lapisan data, didorong oleh seberapa sering sistem membaca, berapa banyak layanan yang disentuhnya, dan seberapa terus menerus operasi tersebut berjalan.

Perbedaan Antara Pilot dan Produksi

Sebuah proyek percontohan berjalan pada dataset yang sempit, dengan segelintir pengguna bersamaan, dalam irama permintaan-respons yang akrab bagi siapa pun yang pernah mengirimkan aplikasi web. Produksi sama sekali tidak seperti itu. Pertimbangkan agen dukungan pelanggan generative AI yang berjalan di produksi. Satu permintaan pengguna dapat memicu pencarian simultan di seluruh aktivitas sesi, catatan CRM, sistem inventaris, manual yang diambil, dan sumber lainnya sebelum model menghasilkan respons. Semua ini terjadi di bawah batasan latensi sub-100ms, dengan pencarian terlambat menjadi hambatan bagi yang lainnya. Masalah operasionalnya menjadi latensi ekor di banyak pencarian paralel kecil.

Sekarang tambahkan alur kerja agen di atasnya. Permintaan pengguna terurai menjadi sebuah rencana, kemudian menjadi serangkaian langkah yang masing-masing mengeluarkan pencarian sendiri, menulis status sementara, dan membacanya kembali. Apa yang dimulai sebagai satu inferensi berkembang menjadi puluhan atau ratusan akses data, dengan sistem menyimpan status sesi dan memori di seluruh rangkaian tersebut. Profil biaya yang muncul sama sekali tidak seperti yang diperhitungkan dalam proyek percontohan.

Sumber Kesenjangan 30%

Pembengkakan biaya berasal dari serangkaian pilihan defensif yang diambil di bawah ketidakpastian. Ketika tim tidak dapat melihat bagaimana data mengalir melalui satu permintaan, mereka melakukan over-provisioning untuk menyerap lonjakan. Ketika mereka tidak dapat memprediksi perilaku cache di bawah konteks yang berubah, mereka menduplikasi data di seluruh sistem untuk mengurangi risiko ketergantungan.

Ketika satu layanan hilir melambat, mereka menambahkan layanan lain di atasnya untuk mengisolasi diri. Setiap pilihan bersifat rasional secara lokal. Agregatnya adalah sistem yang menghabiskan biaya 30% lebih banyak dari yang dibutuhkan beban kerja, dan itu bahkan sebelum seseorang menambahkan kasus penggunaan baru. Masalah yang mendasarinya biasanya sama. Penyebaran per permintaan tidak terukur secara ujung ke ujung. Konteks menjadi terfragmentasi di seluruh penyimpanan fitur, penyimpanan sesi, sistem profil pengguna, indeks vektor, dan API pihak ketiga. Cache KV dan penggunaan ulang prefiks ditinggalkan karena lapisan inferensi tidak dapat menyimpan atau berbagi status di seluruh panggilan. Keputusan replikasi dan penjenjangan dibuat per sistem daripada per pola akses. Tidak satu pun dari ini muncul dalam proyek percontohan, tetapi semuanya muncul dalam tagihan produksi.

Lebih lanjut, biaya ini juga dipengaruhi oleh konsumsi energi yang besar. Dalam konteks yang lebih luas, AI agent boros listrik secara signifikan, menambah beban finansial pada operasional perusahaan.

Apa yang Harus Dikirimkan oleh Lapisan Data AI

AI dalam produksi adalah sistem terdistribusi berkelanjutan yang jalur panasnya adalah perakitan konteks — banyak pembacaan kecil per permintaan di bawah batasan latensi yang ketat — dikombinasikan dengan penulisan yang harus menjaga konsistensi beberapa representasi dari entitas yang sama. Sistem ini membutuhkan dua hal secara bersamaan: pembacaan latensi rendah yang dapat diprediksi di bawah konkurensi tinggi dan penulisan yang konsisten di seluruh jalur data. Infrastruktur di bawahnya harus diukur dan dibentuk sesuai.

Beberapa keputusan arsitektur pada akhirnya mendorong sebagian besar hasil:

• Cocokkan lapisan data dengan pola akses: Status sesi, memori agen, pencarian fitur, konteks yang diambil, dan penggunaan ulang cache KV semuanya memiliki pola baca, persyaratan kesegaran, dan kebutuhan daya tahan yang berbeda. Memperlakukan semuanya sebagai lapisan data yang sama adalah sumber pembengkakan biaya yang paling umum.
• Rekayasa untuk penyebaran dan latensi ekor yang dapat diprediksi: Throughput adalah metrik utama yang salah untuk lapisan data AI. Metrik yang tepat adalah prediktabilitas banyak pembacaan kecil yang dipicu oleh satu permintaan. Kumpulan pencarian paralel hanya secepat anggotanya yang paling lambat, dan satu pencarian lambat menghentikan seluruh langkah perakitan konteks.
• Perlakukan konsistensi penulisan sebagai persyaratan kebenaran: Ketika pembaruan di seluruh profil pengguna, embedding, vektor fitur, dan status sesi tidak disinkronkan, perakitan konteks hilir membaca campuran versi dan model menghasilkan output yang percaya diri namun didasarkan pada data yang kontradiktif. Ini adalah halusinasi yang tidak ada hubungannya dengan pengambilan sampel atau probabilitas model.
• Perlakukan penggunaan ulang data waktu inferensi sebagai infrastruktur: Penggunaan ulang cache KV, berbagi prefiks, dan persistensi memori agen adalah masalah infrastruktur kelas satu. Tim yang menyadari hal ini sejak awal menjalankan beban kerja yang sama pada utilisasi GPU yang lebih rendah.

Langkah Awal yang Tepat

Langkah pertama yang paling berguna adalah melacak satu permintaan produksi dari ujung ke ujung — menghitung pencarian, mencatat sumber, dan mengukur latensi ekor. Latihan ini mengungkap lebih banyak daripada tinjauan arsitektur. Setelah tim dapat melihat bagaimana data bergerak melalui satu interaksi, mereka dapat mengkategorikan akses data berdasarkan tingkat dan memverifikasi bahwa masing-masing berjalan pada infrastruktur yang sesuai dengan polanya.

Dari sana, pertanyaan selanjutnya adalah apa yang sedang dihitung ulang yang dapat digunakan kembali, terutama di seluruh panggilan inferensi dan langkah agen. Penyebaran per interaksi harus menjadi metrik yang diawasi tim sama ketatnya dengan latensi p99 — karena pada skala, itu mendorong biaya secara langsung.

Biaya AI dalam produksi adalah disiplin desain. Tim yang menanganinya sejak awal memiliki kendali yang jauh lebih besar atas kinerja dan pengeluaran daripada tim yang menunggu sampai tagihan memaksa masalah. Dalam banyak kasus, kesenjangan 30% adalah biaya mempelajari pelajaran ini terlambat. Untuk mengelola biaya ini secara efektif, perusahaan perlu memahami arsitektur yang tepat, mirip dengan bagaimana Nvidia menunda rack Kyber karena masalah produksi, menunjukkan kompleksitas infrastruktur AI.

Perusahaan juga harus mempertimbangkan kebijakan yang mendukung pengembangan infrastruktur, seperti bagaimana Inggris mempermudah izin data center untuk mempercepat adopsi teknologi AI.