Courtesy of TechCrunch
Perdebatan Sengit Benchmark AI: Transparansi dan Klaim Model Terhebat Grok 3
23 Feb 2025, 05.55 WIB
228 dibaca
Share
Ikhtisar 15 Detik
- Debat tentang tolok ukur AI menunjukkan kompleksitas dalam mengevaluasi kinerja model.
- Penggunaan konsensus@64 dapat memberikan gambaran yang menyesatkan tentang kemampuan model AI.
- Biaya komputasi dan finansial dari model AI perlu dipertimbangkan dalam penilaian kinerja.
Debat mengenai tolok ukur AI dan cara pelaporannya oleh laboratorium AI sedang menjadi perhatian publik. Baru-baru ini, seorang karyawan OpenAI menuduh perusahaan AI Elon Musk, xAI, mempublikasikan hasil tolok ukur yang menyesatkan untuk model AI terbarunya, Grok 3. xAI menunjukkan grafik yang menunjukkan bahwa Grok 3 mengalahkan model terbaik OpenAI, o3-mini-high, dalam ujian matematika AIME 2025. Namun, karyawan OpenAI menunjukkan bahwa grafik tersebut tidak mencantumkan skor o3-mini-high dengan metode "consensus@64", yang memberikan model 64 kesempatan untuk menjawab setiap soal dan mengambil jawaban yang paling sering muncul. Ini membuat seolah-olah Grok 3 lebih baik padahal sebenarnya tidak.
Igor Babushkin dari xAI membela perusahaan mereka dengan mengatakan bahwa OpenAI juga pernah mempublikasikan grafik yang menyesatkan. Sementara itu, seorang peneliti AI menunjukkan grafik yang lebih akurat dengan memperlihatkan kinerja hampir semua model menggunakan metode "consensus@64". Namun, ada satu hal penting yang masih belum jelas: biaya komputasi dan uang yang diperlukan untuk setiap model mencapai skor terbaiknya. Ini menunjukkan bahwa banyak tolok ukur AI tidak memberikan gambaran lengkap tentang kekuatan dan kelemahan model-model tersebut.
--------------------
Analisis Kami: Kontroversi ini menunjukkan bahwa tidak hanya performa AI yang harus diperhatikan, tapi juga bagaimana data tersebut disajikan dan kontekstualisasinya agar publik mendapatkan gambaran yang jujur. Tanpa transparansi penuh termasuk biaya komputasi, klaim 'AI tercerdas' menjadi misleading dan berpotensi merusak kepercayaan publik pada kemajuan teknologi.
--------------------
Analisis Ahli:
Nathan Lambert: Meskipun konsensus@64 meningkatkan skor secara signifikan, tanpa informasi mengenai biaya komputasi dan finansialnya, kita tidak dapat benar-benar membandingkan efisiensi dan keunggulan model AI tersebut.
--------------------
What's Next: Persaingan antara perusahaan AI akan semakin ketat dengan adanya tuntutan transparansi yang lebih besar, sehingga standar benchmark dan cara pelaporan hasil kinerja model AI akan terus diperbaiki dan distandarisasi untuk menghindari kebingungan serta manipulasi data publik.
Referensi:
[1] https://techcrunch.com/2025/02/22/did-xai-lie-about-grok-3s-benchmarks/
[1] https://techcrunch.com/2025/02/22/did-xai-lie-about-grok-3s-benchmarks/
Artikel Serupa
Teknologi
3 bulan lalu
56 dibaca
Kritik Terhadap Benchmarking AI Crowdsourced: Masalah Etika dan Validitas
Teknologi
3 bulan lalu
91 dibaca
Kontroversi Benchmark Model AI o3 OpenAI: Klaim Lebih Hebat atau Realita?
Teknologi
4 bulan lalu
127 dibaca
Biaya Tinggi Pengujian Model Reasoning AI Mengancam Transparansi Hasil
Teknologi
4 bulan lalu
118 dibaca
xAI Luncurkan Grok 3, AI Baru Elon Musk dengan Harga Mahal dan Kontroversi
Teknologi
5 bulan lalu
109 dibaca
Mengapa Benchmark AI Saat Ini Kurang Jelas meski Grok 3 Tampil Unggul
Teknologi
6 bulan lalu
288 dibaca