Courtesy of Forbes

Mengapa GPTBot Jadi Bot Paling Diblokir dan Apa Dampaknya ke Situs Web?

Membahas tren penggunaan crawler internet terutama AI, dampaknya pada pemilik situs, serta perbandingan nilai trafik yang didapatkan dari berbagai jenis crawler agar pembaca memahami dinamika data crawling dan ketahanan situs terhadap bot.

16 Des 2025, 23.15 WIB

6 dibaca

Ikhtisar 15 Detik

GPTBot adalah crawler yang paling banyak diblokir di internet.
Penggunaan bot di internet lebih dari 50%, dengan bot AI semakin mendominasi.
Pemilik situs web memiliki pandangan berbeda tentang manfaat dan kerugian dari crawler yang mengakses konten mereka.

global, dunia - Setiap tahun, Cloudflare merilis laporan tentang kondisi internet, termasuk aktivitas bot yang kini menguasai lebih dari separuh lalu lintas internet, dengan manusia hanya menyumbang kurang dari 44%. GPTBot dari OpenAI, yang menjadi dasar ChatGPT, mengalami lonjakan penggunaan sangat tinggi, namun juga menjadi bot paling banyak diblokir oleh pemilik situs web karena mereka khawatir data mereka diambil tanpa imbal balik yang layak.

Dalam laporan tersebut, Google menjadi peramban yang paling banyak diizinkan dan sekaligus memberi trafik besar ke situs-situs web. Microsoft Bing berada di posisi kedua. GPTBot sendiri ada di posisi ketiga dalam bot yang paling diizinkan, meskipun juga masuk daftar bot yang paling diblokir. Ini menunjukkan ketidaksesuaian sikap para pemilik situs tergantung pada tujuan mereka—apakah mereka ingin lebih terlihat atau justru melindungi konten mereka.

Cloudflare juga membagikan metrik Crawl-to-Refer ratio yang menunjukkan jumlah kunjungan bot dibandingkan pengunjung manusia yang dikirim oleh layanan tersebut ke website. Mesin pencari tradisional seperti Google sangat unggul dalam mengembalikan traffic manusia. Sebaliknya, beberapa layanan AI seperti Anthropic Claude AI memberikan traffic balik yang sangat kecil, sehingga pemilik situs sulit mendapatkan manfaat dari crawler tersebut.

Sikap para pemilik website beragam dalam menerima atau menolak akses crawler AI. Beberapa menggunakan robots.txt untuk memblokir akses crawler, meskipun kepatuhan terhadap aturan ini bersifat sukarela. Ada juga crawler seperti dari Perplexity yang disebut melanggar aturan ini dan tetap mengindeks situs tanpa izin, menimbulkan pertanyaan soal etika dan perlindungan data.

Laporan Cloudflare juga menyoroti fakta lain seperti dominasi Cloudflare di jaringan internet dunia, namun tidak termasuk wilayah Tiongkok karena blokir firewall mereka. Catatan menarik lainnya adalah bahwa domain .christmas dinilai paling berbahaya terkait dengan spam dan email berbahaya, menjadi peringatan bagi pengguna internet selama musim liburan.

Referensi:
[1] https://www.forbes.com/sites/johnkoetsier/2025/12/16/chatgpt-is-the-most-blocked-crawler-on-the-internet-google-most-allowed/

Analisis Ahli

Matthew Prince

"Dalam dunia yang didominasi digital, kita perlu memperjelas ekosistem antara penyedia layanan AI dengan pemilik konten agar tidak ada pihak yang dirugikan secara sepihak."

Analisis Kami

"Tren penggunaan crawler AI memang menaikkan kekhawatiran pemilik situs karena nilai rujukan yang minim. Situs web perlu lebih selektif dan menerapkan kebijakan agar tidak hanya dieksploitasi oleh crawler tanpa ada benefit nyata, sehingga keseimbangan ekosistem data di internet tidak rusak."

Prediksi Kami

Kedepannya kemungkinan akan ada peningkatan aturan atau teknologi untuk mengatur crawler AI, baik dari sisi privasi data pemilik situs maupun untuk memastikan manfaat timbal balik yang lebih adil antara layanan crawler dan pemilik situs web.