
Creative Commons (CC) mulai mendukung konsep pay-to-crawl, sebuah teknologi yang memungkinkan situs web menerima pembayaran otomatis saat konten mereka diakses oleh AI webcrawler. Ide ini muncul karena perubahan besar dalam cara orang mengakses informasi lewat AI, yang membuat kunjungan ke situs web menurun drastis.
Sebelumnya, situs web senang kontennya diindeks gratis oleh mesin pencari seperti Google karena hal itu mendatangkan traffic dan penghasilan dari iklan. Namun, dengan AI chatbot yang memberikan jawaban langsung tanpa link ke sumber, penerbit kini kehilangan pengunjung dan penghasilan.
Pay-to-crawl bisa menjadi solusi agar situs web, terutama penerbit kecil, tetap mendapatkan kompensasi atas penggunaan konten mereka oleh perusahaan AI. Sistem ini juga mengatur penggunaan konten agar tidak disalahgunakan atau dibatasi secara berlebihan.
Namun, CC memberikan catatan penting agar pay-to-crawl tidak menjadi aturan baku yang menutup akses bagi institusi riset, pendidikan, dan kepentingan publik. Sistem ini harus fleksibel, memungkinkan throttling, dan dibangun dengan standar terbuka agar seimbang dan adil.
Beberapa perusahaan teknologi besar, seperti Cloudflare, Microsoft, dan startup baru, tengah mengembangkan solusi pay-to-crawl dan standar baru seperti Really Simple Licensing (RSL) yang mendapat dukungan luas. Ini menjadi langkah penting untuk menciptakan ekosistem AI yang berkelanjutan dan adil.