Telset.id – Cloudflare mengumumkan akan memblokir secara otomatis web crawler campuran yang berfungsi sebagai perayap mesin pencari sekaligus agen dan pelatih AI. Kebijakan baru ini mulai berlaku pada 15 September 2026, menandai perubahan signifikan dalam hubungan antara pemilik situs dan perusahaan AI.
Keputusan ini diambil karena mayoritas lalu lintas internet kini berasal dari non-manusia. Matthew Prince, CEO dan co-founder Cloudflare, menyatakan bahwa perusahaan harus bertindak lebih cepat untuk menciptakan ekosistem yang berkelanjutan.
“Sekarang mayoritas lalu lintas di Internet adalah non-manusia, kami harus melangkah lebih jauh dan bertindak lebih cepat agar ekosistem yang berkelanjutan dapat muncul,” ujar Prince dalam pernyataan resmi.
“Alat dan kemitraan baru Cloudflare memberikan pemilik situs visibilitas yang lebih besar dan peluang komersial, serta menguntungkan perusahaan AI yang memiliki bot dengan niat yang jelas dan transparan. Kami berharap perubahan default yang kami usulkan mendorong crawler campuran untuk memisahkan pencarian dari penggunaan agen dan pelatihan.”
Dahulu, lalu lintas web mengindikasikan bahwa orang melihat iklan situs atau membayar langganan. Namun, popularitas model AI yang dapat mengunjungi situs atas nama pengguna untuk mengambil informasi terkini telah mengubah sistem tersebut. Pendekatan baru Cloudflare bertujuan menyeimbangkan kembali hubungan secara adil bagi perusahaan AI dan pemilik situs.
Mulai 15 September 2026, pelanggan baru dan situs web baru dari pelanggan Cloudflare yang sudah ada akan secara default “mengizinkan pencarian tetapi memblokir pelatihan dan penggunaan agen untuk halaman dengan iklan.” Crawler campuran yang tidak memberikan opsi kepada pemilik situs untuk memilih apakah situs mereka digunakan untuk AI juga akan diblokir secara default pada halaman dengan iklan.
Pengguna dengan akun gratis juga akan beralih ke pengaturan default ini kecuali mereka memilih keluar sebelum tenggat waktu 15 September 2026. Cloudflare juga merilis versi baru dari fitur Pay Per Crawl yang diperkenalkan pada 2025, yang memungkinkan situs web memblokir crawler AI secara default kecuali perusahaan membayar untuk mengambil konten mereka.
Fitur tersebut kini bernama Pay Per Use. Alih-alih pembayaran berdasarkan apakah halaman web telah dirayapi, Cloudflare menyatakan pemilik situs akan dibayar ketika konten mereka muncul dalam jawaban dari chatbot AI. Pengumuman tersebut hanya menyebutkan kemitraan dengan Ceramic.AI dan You.com, namun Cloudflare kemungkinan berharap perusahaan AI lain akan bergabung saat pelanggannya memilih opsi tersebut.
Selain mencoba membuat hubungan antara situs web dan perusahaan AI lebih adil, Cloudflare juga tampaknya secara tidak langsung menargetkan Google. Pengumuman perusahaan menyebutkan bahwa “mesin pencari terbesar memiliki akses ke sekitar 2X lebih banyak informasi daripada perusahaan AI terkemuka karena mereka menyulitkan pelanggan untuk tetap dapat ditemukan tanpa juga digunakan untuk AI.”
Crawler utama Google, Googlebot, baik mengindeks situs web untuk berbagai mesin pencari perusahaan maupun mengumpulkan informasi untuk melatih Gemini dan mendukung fitur AI seperti AI Overviews dan AI Mode. Google memungkinkan situs web memilih crawler terpisah bernama Google-Extended yang hanya merayapi situs web untuk hasil pencarian tradisional. Namun, jika penerbit ingin dimasukkan dalam hasil AI Mode tetapi tidak ingin konten mereka melatih model Google, mereka tidak memiliki opsi.
Kebijakan baru Cloudflare merupakan upaya untuk memaksa Google dan perusahaan lain dengan crawler campuran mengubah taktik mereka. Langkah ini menunjukkan komitmen Cloudflare dalam melindungi hak pemilik situs web di tengah maraknya penggunaan konten untuk pelatihan AI tanpa izin.
Baca Juga:
Dengan kebijakan ini, Cloudflare berharap dapat menciptakan ekosistem yang lebih adil bagi semua pihak. Perubahan ini juga memberikan pemilik situs kendali lebih besar atas bagaimana konten mereka digunakan oleh perusahaan AI.
Komentar
Belum ada komentar.