Courtesy of TechCrunch
Apakah xAI berbohong tentang benchmark Grok 3?
23 Feb 2025, 05.55 WIB
183 dibaca
Share
Ikhtisar 15 Detik
- Debat tentang tolok ukur AI menunjukkan kompleksitas dalam mengevaluasi kinerja model.
- Penggunaan konsensus@64 dapat memberikan gambaran yang menyesatkan tentang kemampuan model AI.
- Biaya komputasi dan finansial dari model AI perlu dipertimbangkan dalam penilaian kinerja.
Debat mengenai tolok ukur AI dan cara pelaporannya oleh laboratorium AI sedang menjadi perhatian publik. Baru-baru ini, seorang karyawan OpenAI menuduh perusahaan AI Elon Musk, xAI, mempublikasikan hasil tolok ukur yang menyesatkan untuk model AI terbarunya, Grok 3. xAI menunjukkan grafik yang menunjukkan bahwa Grok 3 mengalahkan model terbaik OpenAI, o3-mini-high, dalam ujian matematika AIME 2025. Namun, karyawan OpenAI menunjukkan bahwa grafik tersebut tidak mencantumkan skor o3-mini-high dengan metode "consensus@64", yang memberikan model 64 kesempatan untuk menjawab setiap soal dan mengambil jawaban yang paling sering muncul. Ini membuat seolah-olah Grok 3 lebih baik padahal sebenarnya tidak.
Igor Babushkin dari xAI membela perusahaan mereka dengan mengatakan bahwa OpenAI juga pernah mempublikasikan grafik yang menyesatkan. Sementara itu, seorang peneliti AI menunjukkan grafik yang lebih akurat dengan memperlihatkan kinerja hampir semua model menggunakan metode "consensus@64". Namun, ada satu hal penting yang masih belum jelas: biaya komputasi dan uang yang diperlukan untuk setiap model mencapai skor terbaiknya. Ini menunjukkan bahwa banyak tolok ukur AI tidak memberikan gambaran lengkap tentang kekuatan dan kelemahan model-model tersebut.
Artikel Serupa
Teknologi
2 bulan lalu
82 dibaca
xAI Luncurkan API Grok 3 Meski Hadapi Gugatan dari OpenAI
Teknologi
3 bulan lalu
90 dibaca
Minggu Ini dalam AI: Mungkin kita sebaiknya mengabaikan tolok ukur AI untuk saat ini.
Teknologi
3 bulan lalu
194 dibaca
Grok 3: Elon Musk meluncurkan 'AI terpandai di Bumi,' mengklaim bahwa ia mengalahkan Google dan OpenAI.
Teknologi
3 bulan lalu
81 dibaca
Musk Memperkenalkan Chatbot AI Grok-3 untuk Saingi OpenAI, DeepSeek
Teknologi
3 bulan lalu
128 dibaca
xAI milik Elon Musk merilis model unggulan terbarunya, Grok 3.
Teknologi
3 bulan lalu
154 dibaca