Courtesy of TechCrunch

Kritik Terhadap Benchmarking AI Crowdsourced: Masalah Etika dan Validitas

Menyampaikan kekhawatiran dan kritik terhadap penggunaan platform benchmarking crowdsourced oleh laboratorium AI.

22 Apr 2025, 19.30 WIB

56 dibaca

Ikhtisar 15 Detik

Benchmarking crowdsourced memiliki kelemahan dalam validitas dan dapat digunakan untuk klaim yang berlebihan.
Pentingnya kompensasi bagi evaluator model untuk menghindari praktik eksploitasi.
Benchmark harus dinamis dan disesuaikan dengan berbagai penggunaan spesifik untuk meningkatkan relevansi.

Amerika Serikat - Laboratorium AI seperti OpenAI, Google, dan Meta semakin sering menggunakan platform benchmarking crowdsourced seperti Chatbot Arena untuk mengevaluasi model mereka. Namun, beberapa ahli mengkritik pendekatan ini dari perspektif etis dan akademis. Emily Bender dari University of Washington menyatakan bahwa benchmark harus memiliki validitas konstruksi yang jelas, yang menurutnya tidak dimiliki oleh Chatbot Arena.

Asmelash Teka Hadgu dari Lesan dan Kristine Gloria dari Aspen Institute menyoroti bahwa benchmark harus dinamis dan evaluator harus diberi kompensasi. Hadgu juga mengkritik Meta yang pernah menyesuaikan model Maverick untuk mendapatkan skor tinggi di Chatbot Arena, tetapi kemudian merilis versi yang berkinerja lebih buruk. Gloria menambahkan bahwa proses benchmarking crowdsourced berharga tetapi tidak boleh menjadi satu-satunya metrik untuk evaluasi.

Matt Frederikson dari Gray Swan AI dan Wei-Lin Chiang dari UC Berkeley juga setuju bahwa benchmark publik tidak cukup dan harus dilengkapi dengan evaluasi internal dan tim red algoritmik. Chiang menegaskan bahwa insiden ketidaksesuaian benchmark bukan karena desain Chatbot Arena, tetapi karena laboratorium salah menafsirkan kebijakannya. LM Arena telah memperbarui kebijakannya untuk mencegah ketidaksesuaian di masa depan.

--------------------

Analisis Kami: Metode crowdsourced benchmarking saat ini terlalu mengandalkan preferensi subjektif tanpa validasi ilmiah yang memadai, sehingga rentan dimanipulasi dan tidak mencerminkan kualitas sebenarnya dari model AI. Industri AI harus segera beralih ke sistem evaluasi yang lebih transparan dan berbasis domain yang melibatkan profesional berkompeten agar hasilnya bermakna dan etis.

--------------------

Analisis Ahli:

Emily Bender: Mengkritik kurangnya validitas konstruksi dalam metode voting Chatbot Arena dan keberatan bahwa preferensi yang diukur tidak didukung secara ilmiah.

Asmelash Teka Hadgu: Menyatakan benchmarking saat ini disalahgunakan untuk promosi berlebihan dan mengusulkan model evaluasi yang terdistribusi dan spesifik untuk tiap bidang.

Kristine Gloria: Menekankan pentingnya kompensasi terhadap evaluator untuk menghindari eksploitasi yang sama seperti di industri pelabelan data.

Matt Frederikson: Mengakui nilai crowdsourced namun menegaskan kebutuhan evaluasi tertutup dengan keahlian khusus dan komunikasi hasil yang jelas.

Wei-Lin Chiang: Membela model Chatbot Arena sebagai ruang terbuka untuk preferensi komunitas, dan mengaku telah memperbaiki kebijakan untuk menghindari penyimpangan.

--------------------

What's Next: Ke depan, akan muncul lebih banyak platform benchmarking yang mencoba menyediakan evaluasi yang lebih adil, terstandarisasi, dan berbayar untuk para evaluator, serta integrasi metrik evaluasi yang lebih kompleks selain voting sederhana.

Referensi:
[1] https://techcrunch.com/2025/04/22/crowdsourced-ai-benchmarks-have-serious-flaws-some-experts-say/

Pertanyaan Terkait

Apa masalah utama yang diangkat oleh Emily Bender terkait dengan Chatbot Arena?

Emily Bender mengkritik bahwa Chatbot Arena tidak menunjukkan bahwa pemungutan suara untuk satu output dibandingkan yang lain benar-benar berkorelasi dengan preferensi.

Mengapa Asmelash Teka Hadgu menganggap benchmark seperti Chatbot Arena dapat digunakan untuk klaim yang berlebihan?

Asmelash Teka Hadgu berpendapat bahwa laboratorium AI dapat 'mengkooptasi' benchmark untuk mempromosikan klaim yang berlebihan.

Apa yang disarankan Kristine Gloria terkait dengan kompensasi bagi evaluator model?

Kristine Gloria menyarankan agar evaluator model harus diberi kompensasi untuk menghindari praktik eksploitasi yang terjadi di industri pelabelan data.

Mengapa Matt Frederikson percaya bahwa benchmark publik tidak cukup?

Matt Frederikson percaya bahwa evaluasi yang dilakukan secara privat dan internal lebih penting daripada benchmark publik.

Apa tujuan dari LMArena menurut Wei-Lin Chiang?

Tujuan LMArena adalah untuk menciptakan ruang terbuka yang dapat dipercaya untuk mengukur preferensi komunitas terhadap berbagai model AI.