Courtesy of TechCrunch
Apakah xAI berbohong tentang benchmark Grok 3?
23 Feb 2025, 05.55 WIB
212 dibaca
Share
Ikhtisar 15 Detik
- Debat tentang tolok ukur AI menunjukkan kompleksitas dalam mengevaluasi kinerja model.
- Penggunaan konsensus@64 dapat memberikan gambaran yang menyesatkan tentang kemampuan model AI.
- Biaya komputasi dan finansial dari model AI perlu dipertimbangkan dalam penilaian kinerja.
Debat mengenai tolok ukur AI dan cara pelaporannya oleh laboratorium AI sedang menjadi perhatian publik. Baru-baru ini, seorang karyawan OpenAI menuduh perusahaan AI Elon Musk, xAI, mempublikasikan hasil tolok ukur yang menyesatkan untuk model AI terbarunya, Grok 3. xAI menunjukkan grafik yang menunjukkan bahwa Grok 3 mengalahkan model terbaik OpenAI, o3-mini-high, dalam ujian matematika AIME 2025. Namun, karyawan OpenAI menunjukkan bahwa grafik tersebut tidak mencantumkan skor o3-mini-high dengan metode "consensus@64", yang memberikan model 64 kesempatan untuk menjawab setiap soal dan mengambil jawaban yang paling sering muncul. Ini membuat seolah-olah Grok 3 lebih baik padahal sebenarnya tidak.
Igor Babushkin dari xAI membela perusahaan mereka dengan mengatakan bahwa OpenAI juga pernah mempublikasikan grafik yang menyesatkan. Sementara itu, seorang peneliti AI menunjukkan grafik yang lebih akurat dengan memperlihatkan kinerja hampir semua model menggunakan metode "consensus@64". Namun, ada satu hal penting yang masih belum jelas: biaya komputasi dan uang yang diperlukan untuk setiap model mencapai skor terbaiknya. Ini menunjukkan bahwa banyak tolok ukur AI tidak memberikan gambaran lengkap tentang kekuatan dan kelemahan model-model tersebut.
Sumber: https://techcrunch.com/2025/02/22/did-xai-lie-about-grok-3s-benchmarks/
Artikel Serupa
Teknologi
3 bulan lalu
52 dibaca
Kritik Terhadap Penggunaan Platform Benchmarking Crowdsourced oleh Laboratorium AI
Teknologi
3 bulan lalu
88 dibaca
Perbedaan Hasil Benchmark Model AI o3 OpenAI Menimbulkan Pertanyaan
Teknologi
3 bulan lalu
122 dibaca
High Costs and Challenges of Benchmarking Reasoning AI Models
Teknologi
3 bulan lalu
105 dibaca
xAI Luncurkan API Grok 3 Meski Hadapi Gugatan dari OpenAI
Teknologi
5 bulan lalu
105 dibaca
Minggu Ini dalam AI: Mungkin kita sebaiknya mengabaikan tolok ukur AI untuk saat ini.
Teknologi
5 bulan lalu
254 dibaca