Courtesy of TheVerge
Perplexity Diduga Menyembunyikan Identitas Crawler AI untuk Lewati Blokir Website
Mengungkap tindakan Perplexity yang berusaha menghindari aturan website dalam mengakses konten yang dilindungi dan mengangkat kekhawatiran terkait etika pengumpulan data oleh AI.
05 Agt 2025, 00.51 WIB
117 dibaca
Share
Ikhtisar 15 Detik
- Perplexity diduga melanggar aturan crawling yang ditetapkan oleh pemilik situs web.
- Cloudflare mengidentifikasi teknik yang digunakan oleh Perplexity untuk menghindari pembatasan.
- Ada kekhawatiran yang meningkat mengenai dampak crawler AI terhadap industri penerbitan.
Perplexity, sebuah startup AI yang fokus pada pencarian, baru-baru ini dituduh mengabaikan aturan dari situs-situs web yang tidak ingin diakses oleh crawler AI mereka. Cloudflare, perusahaan besar di bidang infrastruktur internet, melaporkan bahwa Perplexity tidak hanya melewati batasan mereka, tapi juga secara sengaja menyembunyikan identitas crawlernya agar tetap bisa mengakses konten yang diblokir.
Sebelumnya, Perplexity juga pernah tertangkap melewati paywall dan mengabaikan aturan teknis bernama robots.txt yang biasa digunakan pemilik situs untuk mengatur robot pencari agar tidak mengakses halaman tertentu. CEO Perplexity menuding aktivitas ini berasal dari crawler pihak ketiga, tapi laporan Cloudflare justru menunjukkan perusahaan itu sendiri yang melakukan praktik tersebut.
Cloudflare melakukan pengujian dengan membuat domain yang melarang akses dari Perplexity dan memasang pengaturan firewall. Mereka menemukan Perplexity mulai akses dengan nama crawler resminya, tapi ketika dicekal, mereka mengganti user agent-nya menjadi seperti browser Google Chrome dan menggunakan IP yang berputar serta alamat jaringan berbeda agar terhindar dari deteksi.
Setelah diungkap, Perplexity menyebut laporan Cloudflare sebagai ‘publisitas palsu’ dan menyatakan ada kesalahpahaman. Meski begitu, Cloudflare sudah menghapus Perplexity dari daftar bot resmi dan memasang teknologi baru untuk memblokir pendekatan crawling tanpa izin dari Perplexity.
Cloudflare dan CEO-nya, Matthew Prince, juga sudah menginisiasi kebijakan baru yang meminta perusahaan AI harus membayar untuk mengakses konten melalui crawling sebagai upaya melindungi penerbit dan pembuat konten online agar kontennya tidak disalahgunakan tanpa izin oleh AI.
--------------------
Analisis Kami: Tindakan Perplexity ini menunjukkan kurangnya transparansi dan etika dalam pengumpulan data AI yang dapat merusak kepercayaan publik dan hubungan dengan pembuat konten. Jika tidak ada regulasi lebih ketat, maka penyalahgunaan crawler AI bisa semakin merugikan penerbit dan pemilik konten di masa depan.
--------------------
Analisis Ahli:
Matthew Prince: AI merupakan ancaman eksistensial bagi penerbit, sehingga penting untuk mengendalikan cara AI mengakses dan menggunakan konten online.
--------------------
What's Next: Perplexity kemungkinan akan menghadapi pembatasan lebih ketat dan tuntutan dari penyedia konten, sementara regulator dan perusahaan penyedia layanan akan memperkuat aturan untuk mengontrol aktivitas crawler AI.
Referensi:
[1] https://theverge.com/news/718319/perplexity-stealth-crawling-cloudflare-ai-bots-report
[1] https://theverge.com/news/718319/perplexity-stealth-crawling-cloudflare-ai-bots-report
Pertanyaan Terkait
Q
Apa yang dilaporkan Cloudflare tentang Perplexity?A
Cloudflare melaporkan bahwa Perplexity menghindari pembatasan yang ditetapkan oleh situs web dengan menyembunyikan identitas crawling mereka.Q
Apa yang dilakukan Perplexity untuk menghindari pembatasan akses ke situs web?A
Perplexity mengubah user agent mereka untuk menyamar sebagai pengguna Google Chrome dan menggunakan IP yang berputar.Q
Siapa CEO dari Perplexity dan apa tanggapannya terhadap masalah ini?A
CEO Perplexity adalah Aravind Srinivas, yang mengklaim bahwa masalah ini disebabkan oleh crawler pihak ketiga.Q
Apa tindakan yang diambil oleh Cloudflare terhadap crawler Perplexity?A
Cloudflare telah menghapus Perplexity sebagai bot terverifikasi dan menerapkan metode untuk memblokir crawling secara diam-diam.Q
Mengapa Cloudflare khawatir tentang crawler AI?A
Cloudflare khawatir tentang ancaman eksistensial AI terhadap penerbit, sehingga mereka mulai membatasi akses crawler AI.Artikel Serupa
Teknologi
1 bulan lalu
77 dibaca
Cloudflare Luncurkan Marketplace Baru Untuk Monetisasi Akses AI ke Situs Web
Teknologi
4 bulan lalu
117 dibaca
Cloudflare Meluncurkan AI Labyrinth untuk Perang Melawan Bot Web Jahat
Bisnis
6 bulan lalu
104 dibaca
Startup AI Perplexity Digugat Karena Diduga Langgar Merek Dagang Perplexity Solved Solutions
Teknologi
6 bulan lalu
176 dibaca
Perplexity Luncurkan Asisten AI Baru yang Bantu Tugas Sehari-hari dengan Fitur Canggih
Teknologi
7 bulan lalu
201 dibaca
Bagaimana bot OpenAI menghancurkan situs web perusahaan tujuh orang ini 'seperti serangan DDoS'
Teknologi
7 bulan lalu
129 dibaca