Courtesy of TechCrunch

Lonjakan Bot AI Memicu Krisis Bandwidth di Wikimedia Commons

02 Apr 2025, 20.26 WIB

57 dibaca

Ikhtisar 15 Detik

Konsumsi bandwidth di Wikimedia Commons meningkat drastis akibat aktivitas bot.
Crawler AI sering mengabaikan batasan yang ditetapkan oleh file 'robots.txt'.
Perusahaan teknologi seperti Cloudflare berusaha mengatasi masalah ini dengan solusi inovatif.

Wikimedia Foundation, organisasi yang mengelola Wikipedia dan proyek pengetahuan lainnya, melaporkan bahwa penggunaan bandwidth untuk mengunduh multimedia dari Wikimedia Commons meningkat 50% sejak Januari 2024. Peningkatan ini bukan disebabkan oleh permintaan manusia, tetapi oleh bot otomatis yang mengumpulkan data untuk melatih model AI. Meskipun hanya 35% dari total kunjungan halaman berasal dari bot, hampir dua pertiga (65%) dari lalu lintas yang paling mahal berasal dari mereka. Ini terjadi karena bot cenderung mengakses lebih banyak halaman, termasuk yang kurang populer, yang lebih mahal untuk dilayani.

Wikimedia menjelaskan bahwa konten yang sering diakses disimpan lebih dekat kepada pengguna, sementara konten yang jarang diakses disimpan lebih jauh di pusat data, yang lebih mahal untuk diakses. Hal ini membuat tim keandalan situs Wikimedia harus menghabiskan banyak waktu dan sumber daya untuk memblokir bot agar tidak mengganggu pengguna biasa. Selain itu, biaya cloud yang harus ditanggung juga semakin meningkat.

Fenomena ini merupakan bagian dari tren yang mengancam keberadaan internet terbuka. Beberapa perusahaan teknologi, seperti Cloudflare, mencoba mengatasi masalah ini dengan cara baru, tetapi ini adalah permainan kucing dan tikus yang dapat memaksa banyak penerbit untuk menggunakan login dan paywall, yang akan merugikan pengguna internet secara keseluruhan.

--------------------

Analisis Kami: Situasi ini menegaskan risiko sistem terbuka yang tanpa batas dalam menghadapi perkembangan AI yang menuntut data besar secara otomatis. Bila tidak diatur dengan baik, upaya untuk menjaga akses internet bebas bisa runtuh oleh tekanan biaya dan resiko teknis yang meningkat.

--------------------

Analisis Ahli:

Drew DeVault: Mengkritik scraper AI yang mengabaikan protokol seperti robots.txt, menimbulkan ancaman serius pada infrastruktur terbuka.

Gergely Orosz: Mengamati langsung dampak kenaikan bandwidth yang signifikan akibat bot scraper yang digunakan oleh perusahaan besar seperti Meta.

--------------------

What's Next: Jika tidak segera ada solusi efektif, banyak situs web dan penyedia konten terbuka mungkin akan membatasi akses melalui login atau paywall untuk mengendalikan biaya dan beban infrastruktur.

Referensi:
[1] https://techcrunch.com/2025/04/02/ai-crawlers-cause-wikimedia-commons-bandwidth-demands-to-surge-50/