Courtesy of TheVerge

Kontroversi Llama 4 Meta: Model AI Hebat tapi Ada yang Disembunyikan

Mengungkapkan ketidakjelasan dalam perilisan model AI baru oleh Meta dan dampaknya terhadap kepercayaan pada benchmark AI.

08 Apr 2025, 08.32 WIB

163 dibaca

Ikhtisar 15 Detik

Meta merilis model Llama 4 yang menantang model AI terkemuka lainnya.
Ada kekhawatiran tentang transparansi dan keadilan dalam pengujian model AI di LMArena.
Klaim tentang pelatihan pada set pengujian oleh Meta dibantah oleh VP AI Generatif mereka.

USA - Meta merilis dua model AI baru, Scout dan Maverick, yang diklaim dapat mengalahkan model AI terkemuka lainnya. Namun, ditemukan bahwa versi Maverick yang diuji di LMArena adalah versi eksperimental yang dioptimalkan untuk percakapan, bukan versi yang tersedia untuk publik.

LMArena mengkritik Meta karena tidak menjelaskan bahwa model yang diuji adalah versi khusus, dan memperbarui kebijakan mereka untuk mencegah kebingungan di masa depan. Meta juga dituduh melatih modelnya untuk performa lebih baik di benchmark, meskipun mereka membantah tuduhan tersebut.

Perilisan Llama 4 oleh Meta juga dianggap aneh karena dilakukan pada akhir pekan dan setelah beberapa kali penundaan. Insiden ini menunjukkan bagaimana benchmark AI menjadi medan pertempuran dan pentingnya transparansi dalam perilisan model AI.

--------------------

Analisis Kami: Meta tampaknya ingin cepat menunjukkan dominasinya di bidang AI dengan cara yang kurang etis, menggunakan versi yang dioptimalkan khusus untuk tes sehingga menciptakan ilusi performa terbaik. Ini memperburuk masalah kepercayaan terhadap evaluasi AI dan mengaburkan gambaran sebenarnya tentang kemampuan model yang tersedia untuk publik.

--------------------

Analisis Ahli:

Simon Willison: Menganggap skor tinggi Maverick di LMArena tidak berarti karena model yang diuji berbeda dengan versi publik, yang membuat peringkat tersebut kurang bisa dipercaya sebagai indikasi performa nyata.

--------------------

What's Next: Ke depan, situs benchmark AI akan memperketat aturan dan transparansi untuk mencegah praktik tuning berlebihan model demi memenangkan peringkat, sementara perusahaan AI mungkin akan lebih berhati-hati atau bahkan mencoba mengelabui sistem evaluasi untuk mempromosikan produk mereka.

Referensi:
[1] https://theverge.com/meta/645012/meta-llama-4-maverick-benchmarks-gaming