Telset.id – OpenAI, Google, Microsoft, dan Anthropic sepakat mendukung cara baru bagi pemilik situs web untuk menghentikan konten mereka dipakai melatih model AI. Keempat perusahaan itu mendukung sinyal opt-out bersama di berkas robots.txt sebuah situs, yang memberi tahu crawler AI apakah konten boleh digunakan untuk pelatihan.
Dukungan ini menjadi penanda penting bagi pemilik situs yang selama ini kesulitan membendung praktik scraping. Sebab, crawler AI yang tidak mengindahkan aturan robots.txt tetap bisa mengambil konten. Namun kesepakatan keempat perusahaan besar ini setidaknya memberi jalur resmi bagi pemilik situs untuk menyatakan penolakan.
OpenAI disebut telah menetapkan semacam preseden bagi perusahaan AI lain. Perusahaan itu menyatakan, “We encourage other AI providers to honor the signal,” atau mengajak penyedia AI lain menghormati sinyal tersebut.
Cara Kerja Robots.txt untuk Memblokir Crawler AI
Robots.txt adalah berkas teks yang berada di direktori akar sebuah situs web dan memberi panduan bagaimana bot seharusnya berperilaku. Berkas ini berguna sebagai peta digital bagi crawler mesin pencari dan dapat mencegah server situs kelebihan beban akibat permintaan bot.
Dengan menambahkan beberapa karakter saja ke berkas ini, pemilik situs bisa memblokir mayoritas lalu lintas bot yang mengakses situs. Sayangnya, metode ini hanya berlaku bagi scraper yang benar-benar menaati aturan robots.txt.
Ada beberapa cara mengatur bot mana yang boleh masuk ke situs. Untuk memblokir seluruh lalu lintas AI, pemilik situs dapat membuka atau membuat berkas robots.txt menggunakan editor teks, lalu menambahkan bagian dengan judul ‘# AI crawlers’. Setelah itu, tambahkan baris ‘Disallow: /’ untuk memblokir semua crawler AI.
Jika ingin memblokir crawler AI tertentu, misalnya ChatGPT, pemilik situs dapat menempatkan ‘User-agent: ChatGPT-User’ pada satu baris dan ‘Disallow: /’ di bawahnya. Untuk mencegah crawler AI mengakses halaman tertentu, cukup tambahkan alamat web setelah tanda ‘/’. Terakhir, perbarui berkas robots.txt di berkas sumber situs web.
Baca Juga:
Empat Metode Lain Menahan Scraping AI
Selain robots.txt, ada sejumlah metode lain yang bisa dipakai pemilik situs. Metode-metode ini bekerja paling baik bila digunakan berlapis, seperti lapisan keju Swiss, untuk menahan scraper. Namun, sebagian bot jahat tetap bisa menemukan celah untuk menembusnya.
1. User-only viewing. Pemilik situs bisa menempuh pendekatan seperti yang direncanakan Reddit, yaitu mewajibkan semua pengguna memiliki akun untuk mengakses situs. Cara ini efektif memfilter lalu lintas manusia dari bot, karena akun pengguna biasanya perlu diverifikasi lewat email atau nomor telepon yang umumnya dimiliki manusia.
Namun pendekatan ini punya konsekuensi. Tidak mewajibkan akun membuat pengguna dari seluruh web lebih mudah mencari informasi tanpa hambatan dan tanpa menyerahkan data pribadi ke situs lain. Kewajiban login atau membuat akun untuk melihat konten bisa membuat orang ‘bounce’, yakni mengklik situs, melihat harus membuat akun, lalu langsung meninggalkannya untuk mencari informasi di tempat lain. Reddit sendiri tengah merasakan konsekuensi ini dari umpan balik pengguna.
2. IP limiting. Bot AI bisa datang secara massal menggunakan satu alamat IP untuk mengakses situs. Layanan pihak ketiga menawarkan opsi ini untuk mencegah server situs dibombardir lalu lintas cepat, tetapi bisa menimbulkan biaya.
Metode ini bisa dipakai untuk memasang pengatur waktu pada alamat IP tertentu yang terdeteksi sebagai lalu lintas bot. Misalnya, jika satu IP mengirim banyak permintaan akses, pengaturan bisa diubah agar hanya lima permintaan dari IP tersebut yang diizinkan dalam periode sepuluh detik. Perlu diwaspadai, sebagian bot AI atau web scraper menggunakan IP berputar untuk menghindari blokir dari satu IP.
3. Captcha. Metode verifikasi manusia yang terbilang kuno ini punya hubungan cinta dan benci dengan banyak orang. Sebagian pengguna tidak keberatan menghitung jumlah bus atau sepeda, atau menyusun potongan puzzle pada tempatnya. Namun sebagian lain melihatnya sebagai ritual memalukan untuk membuktikan kemanusiaan.
Yang lebih merepotkan, sebagian model AI kini cukup mumpuni untuk memecahkan captcha sendiri. Captcha masih bisa membantu memfilter upaya terus-menerus dari web scraper dan bot AI berkemampuan rendah, tetapi juga bisa membuat pengguna bounce, terutama mereka yang khawatir terhadap serangan ClickFix dan melihat captcha rumit sebagai cara membajak perangkat. Metode ini sebaiknya dipakai dengan hati-hati karena bersifat pedang bermata dua.
Semua metode itu memang bisa menghentikan data situs dipanen bot AI, tetapi berpotensi merusak pengalaman pengguna. Bagi yang ingin memperkuat lapisan keamanan perangkat sekaligus, ancaman pengisian daya di ruang publik juga layak diwaspadai lewat panduan risiko juice-jacking.
Di sisi lain, kebutuhan komputasi untuk menjalankan model AI juga menjadi persoalan tersendiri. Sebelumnya, Altman sebut RAM di PC rumah menjadi masalah bagi OpenAI. Persoalan ini menunjukkan bahwa ekosistem AI memang menuntut sumber daya besar, termasuk untuk mengumpulkan data pelatihan yang kini coba dibatasi lewat sinyal opt-out.
Dengan dukungan empat perusahaan AI besar terhadap sinyal di robots.txt, pemilik situs kini punya jalur resmi untuk menyatakan kontennya tidak dipakai melatih model. Namun efektivitasnya tetap bergantung pada seberapa banyak penyedia AI yang menghormati sinyal tersebut.
[ META_DESCRIPTION]
OpenAI, Google, Microsoft, dan Anthropic mendukung sinyal opt-out di robots.txt agar pemilik situs bisa mencegah kontennya dipakai melatih model AI.
Komentar
Belum ada komentar.