Courtesy of TheVerge
Kontroversi Perilisan Model AI Baru Meta: Llama 4 dan Maverick
Mengungkapkan ketidakjelasan dalam perilisan model AI baru oleh Meta dan dampaknya terhadap kepercayaan pada benchmark AI.
08 Apr 2025, 08.32 WIB
158 dibaca
Share
Ikhtisar 15 Detik
- Meta merilis model Llama 4 yang menantang model AI terkemuka lainnya.
- Ada kekhawatiran tentang transparansi dan keadilan dalam pengujian model AI di LMArena.
- Klaim tentang pelatihan pada set pengujian oleh Meta dibantah oleh VP AI Generatif mereka.
USA - Meta merilis dua model AI baru, Scout dan Maverick, yang diklaim dapat mengalahkan model AI terkemuka lainnya. Namun, ditemukan bahwa versi Maverick yang diuji di LMArena adalah versi eksperimental yang dioptimalkan untuk percakapan, bukan versi yang tersedia untuk publik.
LMArena mengkritik Meta karena tidak menjelaskan bahwa model yang diuji adalah versi khusus, dan memperbarui kebijakan mereka untuk mencegah kebingungan di masa depan. Meta juga dituduh melatih modelnya untuk performa lebih baik di benchmark, meskipun mereka membantah tuduhan tersebut.
Perilisan Llama 4 oleh Meta juga dianggap aneh karena dilakukan pada akhir pekan dan setelah beberapa kali penundaan. Insiden ini menunjukkan bagaimana benchmark AI menjadi medan pertempuran dan pentingnya transparansi dalam perilisan model AI.
Sumber: https://theverge.com/meta/645012/meta-llama-4-maverick-benchmarks-gaming
Pertanyaan Terkait
Q
Apa yang dirilis oleh Meta akhir pekan lalu?A
Meta merilis dua model baru Llama 4, yaitu Scout dan Maverick.Q
Apa yang membuat model Maverick menonjol di LMArena?A
Maverick menonjol di LMArena karena ELO score-nya yang tinggi, mengalahkan GPT-4o dan berada di bawah Gemini 2.5 Pro.Q
Mengapa ada kebingungan mengenai versi Maverick yang diuji?A
Ada kebingungan karena versi Maverick yang diuji di LMArena adalah versi eksperimen yang dioptimalkan untuk konversasionalitas, bukan versi publik.Q
Apa tanggapan Ahmad Al-Dahle terhadap tuduhan pelatihan pada set pengujian?A
Ahmad Al-Dahle menyatakan bahwa klaim tentang pelatihan pada set pengujian tidak benar dan menekankan perlunya stabilisasi implementasi.Q
Mengapa waktu rilis Llama 4 dianggap aneh?A
Waktu rilis Llama 4 dianggap aneh karena biasanya berita besar AI tidak dirilis pada hari Sabtu.Artikel Serupa
Teknologi
3 bulan lalu
161 dibaca
Meta Gelar LlamaCon: Harapan Baru untuk Model AI Llama
Teknologi
3 bulan lalu
53 dibaca
Kritik Terhadap Penggunaan Platform Benchmarking Crowdsourced oleh Laboratorium AI
Teknologi
3 bulan lalu
230 dibaca
Meta Dikritik Karena Gunakan Model Eksperimental untuk Skor Tinggi di LM Arena
Teknologi
3 bulan lalu
226 dibaca
Meta Bantah Rumor Pelatihan Model AI pada Set Tes untuk Tolok Ukur
Teknologi
3 bulan lalu
119 dibaca
"Perbedaan Antara Maverick di LM Arena dan Versi Publik: Apa yang Terjadi?"
Teknologi
3 bulan lalu
190 dibaca