Tantangan Operasional Infrastruktur AI di Era Adopsi Cepat

Telset.id – Adopsi AI oleh tim DevOps telah menciptakan masalah baru yang signifikan: lingkungan produksi menjadi semakin sulit direproduksi, lebih rumit untuk dikelola, dan lebih mahal untuk dioperasikan. Meskipun AI terlihat seperti solusi yang jelas di tahap awal, konsekuensi jangka panjangnya justru menjadi tantangan besar bagi organisasi yang mengandalkan teknologi ini.

Lior Koriat, CEO di Quali, menjelaskan bahwa masalah ini sering kali sulit terdeteksi pada awalnya karena AI tampak seperti kemenangan yang jelas. Sebuah tim meminta alat AI untuk menyiapkan infrastruktur, dan hasilnya berhasil. Tim kemudian memperluas ketergantungan mereka pada AI tersebut, lebih banyak tim yang mengikuti, dan semakin banyak infrastruktur yang diciptakan untuk pengujian, demo, eksperimen, dan pengembangan. Organisasi akhirnya memiliki lebih banyak komponen yang bergerak daripada sebelumnya, tetapi kemampuan untuk melacaknya justru semakin berkurang.

Alat yang menghasilkan infrastruktur ini memang pandai menggambarkan seperti apa sesuatu seharusnya pada saat dibuat. Namun, alat tersebut tidak dirancang untuk mengawasi apa yang terjadi setelahnya, memutuskan apakah aman untuk membuat perubahan lain saat satu perubahan sedang berlangsung, atau mendeteksi ketika sesuatu telah menyimpang dari keadaan yang diinginkan selama berminggu-minggu berikutnya.

Pengawasan semacam itu biasanya berasal dari staf operasi berpengalaman yang membuat perubahan satu per satu, dalam urutan yang dapat diprediksi, dengan pemahaman yang jelas tentang apa yang terjadi di sekitar mereka. AI menghilangkan bagian lambat dari proses tersebut tanpa menggantikan penilaian yang membuatnya dapat dikelola.

Sekarang, banyak orang dan banyak alat AI membuat perubahan pada sistem yang sama pada waktu yang hampir bersamaan. Masing-masing melakukan pekerjaannya dengan benar secara terpisah, tetapi tidak ada yang mampu melihat gambaran lengkap tentang apa yang terjadi di seluruh lingkungan secara keseluruhan.

Hasilnya terlihat familiar bagi siapa pun yang menjalankan infrastruktur saat ini. Lingkungan yang bekerja sempurna minggu lalu tiba-tiba tidak berfungsi, dan tidak ada yang bisa menjelaskan alasannya. Biaya cloud meningkat secara stabil karena tidak ada yang ingat untuk mematikan sesuatu setelah tidak lagi dibutuhkan. Tim menghabiskan waktu berjam-jam untuk mencari tahu mengapa dua lingkungan yang seharusnya identik telah menyimpang secara diam-diam.

Pengaturan keamanan yang benar saat peluncuran perlahan-lahan menjadi tidak sinkron karena semua hal di sekitarnya terus berevolusi secara independen. Tidak satu pun dari kegagalan ini merupakan kegagalan dramatis dengan sendirinya. Ini adalah kebocoran lambat, dan kebocoran lambat jauh lebih sulit untuk diperhatikan dan jauh lebih mahal untuk diperbaiki daripada kerusakan mendadak.

Tim yang bertanggung jawab atas infrastruktur telah menyesuaikan diri dengan realitas ini secara real-time. Beberapa tahun lalu, tugas utama mereka adalah membuat segala sesuatunya mudah bagi pengembang, seperti menghilangkan hambatan, memberi orang akses layanan mandiri ke apa yang mereka butuhkan, dan menjauh dari jalan. Itu masih menjadi bagian dari pekerjaan, tetapi peran tersebut telah berkembang secara signifikan.

Sekarang mereka diharapkan untuk menegakkan aturan di seluruh organisasi, mengelola biaya pada komputasi yang semakin mahal, melacak apa yang sebenarnya berjalan di mana, dan menjaga konsistensi di seluruh rangkaian lingkungan yang jauh lebih rumit daripada yang ada dua atau tiga tahun lalu. Menambahkan alat otomatis lain untuk menangani sebagian dari itu tidak menyelesaikan masalah yang mendasarinya.

Lebih sering daripada tidak, itu hanya menambah bagian lain ke tumpukan yang sudah terlalu terfragmentasi untuk dikelola dengan baik. Sebuah lingkungan bukan hanya infrastruktur yang ada di dalamnya. Ini juga semua yang terhubung ke infrastruktur tersebut: siapa yang memiliki akses ke apa, apa yang bergantung pada apa, berapa biaya sebenarnya untuk menjalankannya, dan berapa lama seharusnya bertahan sebelum seseorang membersihkannya.

Mengatasi masalah berarti membangun kesadaran semacam itu langsung ke dalam cara infrastruktur diterapkan dan dipelihara, daripada menemukan masalah setelah fakta melalui dokumentasi yang tidak dibaca siapa pun secara teratur atau insiden yang tidak diinginkan siapa pun.

Hal ini menjadi semakin penting karena perusahaan menginvestasikan banyak uang ke perangkat keras khusus AI. Menyiapkan lingkungan bertenaga GPU bukan sekadar masalah mengamankan perangkat keras. Ini membutuhkan semua yang ada di sekitar perangkat keras tersebut, termasuk jaringan, penyimpanan, keamanan, dan perangkat lunak, untuk bersatu dengan benar dan tetap seperti itu. Memiliki perangkat keras tidak membuat masalah koordinasi itu menjadi lebih kecil. Hanya proses yang lebih baik yang bisa melakukannya, dan proses itu harus dibangun dengan sengaja daripada dirakit dari alat apa pun yang kebetulan ada.

Perusahaan yang mendapatkan nilai paling bertahan lama dari AI tidak akan menjadi yang menggunakan alat paling canggih atau paling banyak. Mereka akan menjadi yang menempatkan upaya disiplin yang sama dalam mengelola apa yang dihasilkan AI seperti yang mereka lakukan dalam memproduksinya di tempat pertama, dan memperlakukan tata kelola bukan sebagai pemikiran belakangan, tetapi sebagai hal yang menentukan apakah semua kecepatan itu benar-benar berubah menjadi sesuatu yang layak.

Pertanyaan yang layak ditanyakan telah berubah sebagai hasilnya, bahkan jika banyak organisasi belum mengejar ketinggalan. Seberapa cepat tim dapat menghasilkan infrastruktur bukan lagi hal yang paling berguna untuk diukur, dan itu tidak pernah menjadi bagian yang sulit.

Ukuran yang lebih baik adalah apakah lingkungan tetap konsisten dari waktu ke waktu, seberapa sering terjadi penyimpangan tanpa disadari siapa pun, berapa lama lingkungan yang tidak digunakan bertahan dengan diam-diam menghabiskan uang, dan apakah siapa pun di organisasi dapat menggambarkan dengan percaya diri apa yang berjalan di produksi pada saat tertentu.

Investasi besar dalam infrastruktur AI terus berlanjut. Google Gelontorkan $80 Miliar untuk AI infrastructure, sementara pemain besar lainnya juga bersiap. Meta Siapkan Bisnis Cloud Infrastructure untuk menyaingi AWS dan Google Cloud. Semua investasi ini menunjukkan bahwa infrastruktur AI adalah area yang terus berkembang, tetapi juga menegaskan bahwa pengelolaan yang tepat menjadi semakin kritis.

Tantangan yang dihadapi organisasi bukanlah tentang kecepatan menghasilkan infrastruktur, melainkan tentang kemampuan mempertahankan kendali atas apa yang telah diciptakan. Kecepatan tanpa pengawasan yang memadai hanya akan menghasilkan kekacauan yang semakin sulit dikendalikan.

Organisasi perlu membangun proses yang matang sejak awal, bukan setelah masalah muncul. Tata kelola harus menjadi bagian integral dari cara infrastruktur dikelola, bukan sesuatu yang ditambahkan kemudian. Ini adalah pelajaran penting bagi semua perusahaan yang sedang berlomba mengadopsi AI dalam operasional mereka.