Cloudflare Blokir AI Bot: Ancaman Baru bagi Publisher dan SEO

Telset.id – Cloudflare bersiap melakukan perubahan besar yang berpotensi mengubah lanskap internet. Mulai September 2026, perusahaan keamanan siber ini akan mengkategorikan lalu lintas AI ke dalam tiga jenis—search, agent, atau training—secara default pada domain baru yang menampilkan iklan. Kebijakan ini secara otomatis akan memblokir crawler agent dan training, sebuah langkah yang disebut para ahli sebagai ancaman serius bagi publisher dan praktik SEO.

Keputusan ini diambil di tengah meningkatnya kekhawatiran publisher terhadap AI yang “mencuri” konten untuk pelatihan model. Namun, dampaknya bisa jauh lebih luas. Varn Search Marketing Search & Innovation Director Andy Mollison menggambarkan situasi ini sebagai “high-stakes staring contest” antara Cloudflare dan Google. Dalam kontes ini, Mollison menegaskan bahwa pihak yang paling dirugikan adalah pelanggan Cloudflare, terutama publisher yang bergantung pada pendapatan iklan.

“Cloudflare dan Google saat ini sedang dalam adu pandang berisiko tinggi. Di atas kertas ini terlihat timpang. Dan pada kenyataannya, sepertinya tidak akan berhasil bagi Cloudflare. Ada alasan sederhana mengapa Google tidak akan mengalah; satu-satunya yang akan kalah adalah pelanggan Cloudflare. Terutama, publisher,” ujar Mollison dalam wawancara dengan TechRadar.

Masalah utama terletak pada ketidakjelasan kategori. Banyak crawler besar seperti Googlebot didefinisikan sebagai multipurpose dan tidak tepat masuk ke salah satu dari tiga kategori tersebut. Akibatnya, situs yang memblokir satu kategori berisiko memblokir seluruh lalu lintas otomatis, termasuk Googlebot yang sangat penting untuk indeksasi pencarian.

Dampak paling buruk dari kebijakan ini adalah setiap situs web yang menggunakan Cloudflare dan menampilkan iklan berpotensi hilang sepenuhnya dari hasil pencarian Google. Hal ini tentu menjadi bencana bagi publisher yang mengandalkan lalu lintas organik. Penurunan lalu lintas akan langsung berimbas pada pendapatan iklan yang anjlok. Bagi bisnis B2B dan merek konsumen, hilangnya visibilitas di mesin pencari akan merugikan pendapatan mereka secara signifikan.

Mollison memperingatkan bahwa konsumen mungkin tidak akan langsung menyadari perubahan ini. Namun, seiring waktu, mereka akan mulai mempertanyakan mengapa hasil dari publisher favorit mereka tidak lagi muncul di pencarian Google. “Orang-orang masih akan menggunakan Google, tanpa sadar bahwa sebagian besar web tidak lagi termasuk dalam hasil pencarian,” tambahnya.

Lantas, mengapa Cloudflare mengambil langkah berani ini? Jawabannya, menurut Mollison, sederhana: uang. CEO Cloudflare baru-baru ini menyatakan bahwa untuk pertama kalinya dalam sejarah internet, mesin kini menghasilkan lebih banyak lalu lintas web daripada manusia. AI crawler adalah penyebab utamanya. Mereka menghabiskan banyak sumber daya server, sehingga Cloudflare membutuhkan lebih banyak kapasitas untuk menangani lalu lintas yang meningkat ini.

Selain biaya, ada juga aspek otonomi. Cloudflare ingin memberikan kemampuan kepada publisher konten untuk memutuskan tingkat indeksasi yang mereka inginkan, tergantung pada tujuan dari robot AI. Misalnya, publisher bisa memblokir konten mereka agar tidak masuk ke model pelatihan AI, tetapi tetap tersedia saat seseorang melakukan pencarian di platform AI.

Namun, kebijakan ini bukannya tanpa tantangan. Salah satu masalah terbesar adalah inkonsistensi sikap Google terhadap file llms.txt, sebuah standar yang direkomendasikan Cloudflare untuk mengatur akses crawler AI. Google menyatakan tidak merekomendasikan penggunaan file llms.txt dalam panduan Developer Fundamentals mereka. Namun, di sisi lain, mereka juga membuat dokumentasi tentang cara mengatur file llms.txt di halaman Agentic Browsing mereka.

“Ada ketidakselarasan antara pengembang Google, yang kemudian menyulitkan pemilik situs untuk menentukan sikap mana yang harus diambil. Google tidak bisa merangkak tanpa menggunakan file, atau mereka membutuhkannya. Tidak bisa keduanya,” jelas Mollison.

Meskipun ada risiko besar, banyak publisher mungkin tetap ingin memblokir lalu lintas AI. Sebab, sebagian besar pencarian kini berakhir tanpa klik (zero-click search). Hal ini secara drastis memangkas lalu lintas publisher dan berdampak pada pendapatan iklan serta afiliasi. Dengan memblokir crawler AI, mereka berharap pengguna akan datang langsung ke situs mereka.

Namun, Mollison memperingatkan bahwa kemungkinan besar konsumen akan terus menggunakan pencarian AI, dan informasi mereka akan berasal dari sumber lain. Ini berarti memblokir crawler AI justru bisa lebih berbahaya. Saat ini, belum ada penyedia layanan lain seperti Akamai atau Amazon yang mengikuti langkah Cloudflare. “Sepertinya Cloudflare menggunakan pencarian AI sebagai kesempatan untuk membuat gebrakan dan menonjol dari yang lain. Apakah itu akan menguntungkan mereka, kita lihat saja nanti,” pungkas Mollison.