Biaya AI Amazon Membengkak, Satu Proyek Habiskan Rp29 Miliar

Telset.id – Amazon mengalami pembengkakan biaya yang parah akibat penggunaan AI agent untuk tugas coding rutin. Dalam satu kasus, perusahaan menghabiskan USD 1,8 juta atau sekitar Rp29 miliar hanya untuk mencocokkan detail penulis dengan daftar produk di situs e-commerce-nya menggunakan Anthropic Claude Sonnet, melebihi anggaran hingga 860 persen.

Kasus ini terungkap dari laporan Financial Times yang mengutip pernyataan karyawan senior Amazon. Pekerjaan sederhana tersebut memakan waktu lima bulan sebelum tim menyadari pengeluaran yang membengkak. Seorang karyawan senior mengeluhkan sulitnya menghitung biaya aktual yang terkait dengan AI.

Para insinyur senior memperingatkan bahwa insiden ini bukan kasus terisolasi. Kesalahan coding yang dulu “sangat murah” kini menjadi “sangat mahal secara katastropik”. Selain kasus Claude Sonnet, Amazon juga membuang USD 541.000 untuk biaya tak terduga terkait pembangunan alat audit keuangan, dan USD 134.000 untuk tugas meningkatkan kecepatan pengiriman di jaringan logistiknya.

Pembengkakan biaya ini merupakan bagian dari masalah yang lebih luas di dunia bisnis. Era “tokenmaxxing” yang mendorong perusahaan menggunakan AI agent sebanyak mungkin kini menuai konsekuensi finansial. Beberapa perusahaan bahkan dilaporkan menghabiskan setengah miliar dolar untuk biaya Claude dalam satu bulan. Transisi ke sistem billing berbasis token memperparah situasi ini.

Amazon sendiri pernah memiliki papan peringkat internal yang menilai karyawan berdasarkan penggunaan alat AI mereka. Papan peringkat tersebut akhirnya dimatikan pada bulan Mei, kemungkinan karena mulai terasa dampak pembengkakan biaya.

Ironisnya, Amazon selama bertahun-tahun melakukan PHK untuk memangkas biaya dan mengalokasikan dana ke teknologi AI. Dalam putaran PHK terbaru yang memengaruhi 16.000 karyawan, perusahaan secara terbuka membanggakan “efisiensi” dari penerapan AI di seluruh perusahaan.

Seorang juru bicara Amazon membantah bahwa kasus-kasus ini mencerminkan praktik umum perusahaan. “Memilih contoh kecil dan terisolasi di mana tim saling belajar dan menggambarkannya sebagai bisnis seperti biasa tidak mencerminkan cara tim di Amazon menggunakan AI,” kata juru bicara tersebut kepada FT.

Kasus ini menjadi pengingat bahwa biaya tersembunyi AI bisa jauh lebih besar dari perkiraan awal. Perusahaan perlu mengevaluasi ulang strategi penerapan AI mereka, terutama dalam hal pengawasan biaya dan akuntabilitas penggunaan alat-alat tersebut di tingkat tim.

Meski Amazon mengklaim menjalankan operasi yang efisien, data dari laporan FT menunjukkan adanya kesenjangan antara narasi resmi dan realitas di lapangan. Para karyawan yang menangani langsung proyek-proyek AI mengaku kesulitan melacak pengeluaran yang sebenarnya.

Salah satu akar masalahnya adalah kurangnya visibilitas biaya per proyek. Model token-based billing yang digunakan penyedia AI seperti Anthropic membuat biaya sulit diprediksi di awal. Tugas yang tampak sederhana bisa mengonsumsi token dalam jumlah besar tanpa peringatan.

Untuk tugas pencocokan data penulis dengan produk di Amazon, misalnya, volume data yang sangat besar membuat setiap iterasi AI memakan biaya signifikan. Tanpa mekanisme pengawasan yang ketat, pembengkakan biaya baru terdeteksi setelah mencapai angka jutaan dolar.

Kasus Amazon ini juga menyoroti perubahan paradigma dalam pengembangan software. Generasi insinyur yang terbiasa dengan “vibe-coding” mungkin tidak memiliki insting yang sama tentang efisiensi biaya dibandingkan pendahulu mereka yang menulis kode secara manual.

Perusahaan teknologi lain yang menerapkan strategi serupa perlu memperhatikan pelajaran dari kasus ini. Riset AI sebelumnya juga menunjukkan adanya masalah lain dalam implementasi teknologi ini di Amazon.

Sementara itu, kerja sama Amazon dengan mitra lain terus berlanjut di tengah gejolak internal ini. Pertanyaannya adalah apakah Amazon akan memperketat pengawasan penggunaan AI setelah insiden pembengkakan biaya ini.

Laporan FT menyebutkan bahwa kasus-kasus ini ditemukan oleh staf Amazon sendiri. Artinya, ada kesadaran internal tentang masalah tersebut, namun mekanisme untuk mencegahnya sejak awal belum berjalan efektif.

Pelajaran utama dari kasus ini adalah pentingnya memiliki sistem pengawasan biaya yang transparan sebelum menerapkan AI secara luas di perusahaan. Tanpa itu, efisiensi yang dijanjikan AI bisa berubah menjadi pemborosan yang tidak terkendali.

Bagi perusahaan lain yang sedang mempertimbangkan adopsi AI untuk tugas-tugas operasional, kasus Amazon menjadi studi kasus penting tentang risiko finansial yang mungkin dihadapi. Investasi besar di AI yang dilakukan raksasa teknologi tidak selalu berbanding lurus dengan efisiensi biaya di lapangan.

Ke depannya, Amazon kemungkinan akan merevisi kebijakan penggunaan AI internal mereka. Namun, sampai ada pernyataan resmi lebih lanjut, kasus ini tetap menjadi contoh bagaimana adopsi AI tanpa pengawasan biaya yang ketat bisa menjadi bumerang finansial.