Courtesy of TechCrunch

Kontroversi Benchmark Model AI o3 OpenAI: Klaim Lebih Hebat atau Realita?

Menyoroti perbedaan hasil benchmark model AI o3 dari OpenAI dan pentingnya tidak menerima hasil benchmark AI begitu saja.

21 Apr 2025, 04.19 WIB

91 dibaca

Ikhtisar 15 Detik

Ada perbedaan signifikan antara klaim OpenAI dan hasil pengujian independen.
Benchmark AI sering kali tidak dapat diandalkan dan perlu diteliti lebih lanjut.
OpenAI berencana untuk merilis model o3 yang lebih kuat di masa depan.

Amerika Serikat - Terjadi perbedaan hasil benchmark antara hasil internal OpenAI dan hasil pihak ketiga untuk model AI o3, yang menimbulkan pertanyaan tentang transparansi dan praktik pengujian model perusahaan tersebut. OpenAI mengklaim bahwa model o3 dapat menjawab lebih dari seperempat pertanyaan di FrontierMath, sementara hasil dari Epoch AI menunjukkan skor sekitar 10%.

Perbedaan ini mungkin disebabkan oleh pengaturan komputasi yang lebih kuat yang digunakan OpenAI atau perbedaan subset masalah yang diuji. Model o3 publik yang dirilis OpenAI juga berbeda dari versi yang diuji sebelumnya dan disesuaikan untuk penggunaan chat/produk.

Kontroversi benchmarking AI semakin sering terjadi karena perusahaan berlomba untuk mendapatkan perhatian dengan model baru mereka. Kasus ini mengingatkan bahwa hasil benchmark AI sebaiknya tidak diterima begitu saja, terutama ketika sumbernya adalah perusahaan yang memiliki layanan untuk dijual.

--------------------

Analisis Kami: Ketidakcocokan antara hasil internal dan eksternal menunjukkan bahwa perusahaan AI perlu lebih jujur dan transparan agar kepercayaan publik tetap terjaga. Benchmark seharusnya menjadi alat untuk evaluasi objektif, bukan sekadar trik pemasaran yang dapat menyesatkan pengguna dan investor.

--------------------

Analisis Ahli:

Mark Chen: Penggunaan compute yang lebih besar saat pengujian memang bisa meningkatkan performa, tapi ini harus disampaikan secara jelas agar tidak menimbulkan kesan menipu.

Epoch AI: Hasil kami menunjukkan bahwa pengujian yang independen dan standard yang konsisten sangat penting untuk menilai kemampuan sebenarnya dari model AI.

ARC Prize Foundation: Versi model yang dirilis ke publik biasanya disesuaikan untuk aplikasi tertentu sehingga performanya tidak selalu sebanding dengan hasil benchmark internal.

--------------------

What's Next: Persaingan di industri AI akan makin ketat dengan munculnya praktik benchmark yang beragam sehingga memicu kebutuhan regulasi dan standar transparansi yang lebih jelas pada pengujian model AI.

Referensi:
[1] https://techcrunch.com/2025/04/20/openais-o3-ai-model-scores-lower-on-a-benchmark-than-the-company-initially-implied/