Courtesy of TechCrunch

Meta Bantah Latih AI dengan Data Tes untuk Membohongi Hasil Benchmark

Menjelaskan bahwa Meta tidak melatih model AI barunya pada set tes untuk meningkatkan hasil tolok ukur secara artifisial.

08 Apr 2025, 01.45 WIB

237 dibaca

Ikhtisar 15 Detik

Meta membantah rumor bahwa mereka melatih model AI mereka pada test set.
Model Llama 4 Maverick dan Scout mengalami variasi kualitas di berbagai penyedia cloud.
Meta berkomitmen untuk memperbaiki bug dan meningkatkan pengalaman pengguna dengan model-modelnya.

tidak disebutkan - Seorang eksekutif Meta, Ahmad Al-Dahle, membantah rumor bahwa perusahaan melatih model AI barunya, Llama 4 Maverick dan Llama 4 Scout, pada set tes untuk meningkatkan hasil tolok ukur secara artifisial.

Rumor ini muncul dari sebuah posting di media sosial China dan diperkuat oleh laporan bahwa model tersebut berkinerja buruk pada tugas tertentu serta penggunaan versi eksperimental Maverick untuk tolok ukur LM Arena.

Al-Dahle mengakui bahwa beberapa pengguna melihat kualitas campuran dari model tersebut di berbagai penyedia cloud dan mengatakan bahwa Meta akan terus bekerja untuk memperbaiki bug dan mengintegrasikan mitra.

--------------------

Analisis Kami: Rumor soal pelatihan model dengan test set seringkali muncul karena ketidakseimbangan ekspektasi dan hasil nyata dari AI, jadi respons cepat dari Meta penting untuk menjaga reputasi. Namun, variabilitas performa di berbagai platform menunjukkan bahwa peluncuran produk cenderung terburu-buru dan perlu perbaikan lebih matang agar pengguna mendapatkan pengalaman yang konsisten.

--------------------

Analisis Ahli:

--------------------

What's Next: Meta kemungkinan akan terus meningkatkan kualitas dan konsistensi model AI-nya serta transparansi dalam proses benchmarking agar kepercayaan publik dan komunitas riset tetap terjaga.

Referensi:
[1] https://techcrunch.com/2025/04/07/meta-exec-denies-the-company-artificially-boosted-llama-4s-benchmark-scores/