Courtesy of TechCrunch

Meta Rilis AI Maverick Versi Eksperimental, Jadi Sorotan di LM Arena

07 Apr 2025, 04.16 WIB

119 dibaca

Ikhtisar 15 Detik

Versi Maverick yang diuji di LM Arena adalah versi eksperimental yang berbeda dari yang tersedia untuk pengembang.
Penyesuaian model untuk benchmark dapat menyesatkan dan menyulitkan prediksi performa di konteks nyata.
Perilaku model AI dapat bervariasi secara signifikan antara versi yang diuji dan versi yang dirilis untuk umum.

Meta baru saja merilis model AI baru bernama Maverick, yang saat ini menduduki peringkat kedua di LM Arena. Di sini, para penilai manusia membandingkan hasil keluaran dari berbagai model AI dan memilih mana yang mereka sukai. Namun, versi Maverick yang digunakan di LM Arena berbeda dari versi yang tersedia untuk pengembang. Meta menyebutkan bahwa Maverick di LM Arena adalah "versi percobaan untuk obrolan," sementara versi yang bisa diunduh tidak dioptimalkan dengan cara yang sama.

Beberapa peneliti AI menunjukkan bahwa LM Arena tidak selalu menjadi ukuran yang paling akurat untuk menilai kinerja model AI. Biasanya, perusahaan AI tidak menyesuaikan model mereka agar lebih baik di LM Arena, atau setidaknya tidak mengakuinya. Masalahnya adalah jika sebuah model disesuaikan untuk mencapai skor tinggi di benchmark, tetapi versi yang dirilis untuk umum tidak disesuaikan, maka pengembang akan kesulitan memprediksi kinerja model tersebut dalam konteks tertentu.

Peneliti juga mencatat perbedaan mencolok antara Maverick yang dapat diunduh dan yang ada di LM Arena. Versi di LM Arena cenderung menggunakan banyak emoji dan memberikan jawaban yang sangat panjang. Kami telah menghubungi Meta dan Chatbot Arena untuk mendapatkan komentar lebih lanjut tentang hal ini.

--------------------

Analisis Kami: Perilaku Meta yang menyajikan versi model yang berbeda untuk benchmark dan publik menunjukkan strategi marketing yang agresif namun merugikan kepercayaan komunitas AI. Benchmark seharusnya mencerminkan performa nyata yang dapat diakses, bukan versi yang disesuaikan demi hasil yang lebih baik.

--------------------

Analisis Ahli:

--------------------

What's Next: Kedepannya akan ada peningkatan permintaan transparansi dan standar yang lebih ketat dalam pelaporan hasil benchmark AI, agar pengembang dan pengguna bisa lebih percaya pada klaim performa model.

Referensi:
[1] https://techcrunch.com/2025/04/06/metas-benchmarks-for-its-new-ai-models-are-a-bit-misleading/

Pertanyaan Terkait

Apa yang dimaksud dengan Maverick dalam artikel ini?

Maverick adalah model AI terbaru yang dirilis oleh Meta dan menunjukkan performa yang baik di LM Arena.

Mengapa versi Maverick yang diuji di LM Arena berbeda dari yang tersedia untuk pengembang?

Versi Maverick yang diuji di LM Arena adalah versi eksperimental yang dioptimalkan untuk konversasionalitas, berbeda dari versi yang tersedia untuk pengembang.

Apa tujuan dari pengujian di LM Arena?

Tujuan dari pengujian di LM Arena adalah untuk membandingkan performa model AI melalui penilaian oleh penguji manusia.

Apa yang menjadi masalah dengan penyesuaian model untuk benchmark?

Masalah dengan penyesuaian model untuk benchmark adalah dapat membuat sulit bagi pengembang untuk memprediksi performa model dalam konteks tertentu dan dapat menyesatkan.

Apa yang diamati oleh peneliti mengenai perilaku Maverick yang dapat diunduh secara publik?

Peneliti mengamati perbedaan mencolok dalam perilaku Maverick yang dapat diunduh dibandingkan dengan model yang dihosting di LM Arena, termasuk penggunaan emoji dan jawaban yang panjang.