Courtesy of YahooFinance

Tantangan AI Coding K Prize: Benchmark Sulit yang Ungkap Batasan Model Saat Ini

Menghadirkan benchmark yang lebih sulit dan bebas kontaminasi untuk menguji kemampuan model AI dalam memecahkan masalah pemrograman nyata serta mendorong perkembangan model terbuka yang lebih baik.

24 Jul 2025, 07.00 WIB

59 dibaca

Ikhtisar 15 Detik

K Prize menunjukkan bahwa evaluasi model AI perlu ditingkatkan karena banyak model gagal mencapai skor tinggi.
Tantangan ini menciptakan peluang untuk model open-source untuk bersaing secara adil.
K Prize memberikan realita baru mengenai kemampuan model AI dalam menyelesaikan masalah pemrograman kompleks.

tidak spesifik , Indonesia - K Prize adalah kompetisi coding AI yang dibuat agar lebih sulit dan bebas dari kontaminasi data pelatihan. Ini bertujuan menguji kemampuan AI dalam memecahkan masalah pemrograman dari data nyata tanpa memanipulasi hasil dengan pelatihan khusus.

Pada pengumuman pemenang pertama, Eduardo Rocha de Andrade dari Brasil menang dengan skor hanya 7,5%. Skor ini jauh lebih rendah dibandingkan dengan benchmark sebelumnya seperti SWE-Bench yang menunjukkan skor jauh lebih tinggi.

Penyelenggara K Prize menjelaskan bahwa skor rendah tersebut disebabkan oleh aturan kompetisi yang membatasi penggunaan model besar dan data latihan khusus. Dengan begitu, benchmark lebih adil untuk model kecil dan terbuka.

Perbedaan besar antara hasil K Prize dan SWE-Bench menimbulkan pertanyaan tentang apakah SWE-Bench terlalu mudah atau sudah terkontaminasi oleh data pelatihan, sebuah isu yang terus dikaji oleh para peneliti.

Pakar Princeton, Sayash Kapoor, mendukung ide mengembangkan tes baru untuk menguji masalah pelatihan dan kontaminasi data. Konwinski menegaskan bahwa hasil K Prize memberikan kenyataan sebenarnya tentang kemampuan AI saat ini yang belum memenuhi ekspektasi tinggi publik.

Sumber: https://finance.yahoo.com/news/ai-coding-challenge-just-published-000000906.html

Pertanyaan Terkait

Siapa pemenang pertama K Prize?

Pemenang pertama K Prize adalah Eduardo Rocha de Andrade.

Apa nilai yang dicapai pemenang K Prize?

Pemenang K Prize mencapai nilai 7,5% dari pertanyaan yang diberikan.

Apa tujuan dari K Prize?

Tujuan dari K Prize adalah untuk menguji kemampuan model AI dalam menyelesaikan masalah pemrograman nyata.

Apa perbedaan antara K Prize dan SWE-Bench?

Perbedaan antara K Prize dan SWE-Bench adalah K Prize menggunakan isu yang ditandai di GitHub setelah tanggal tertentu, tanpa pelatihan spesifik untuk benchmark.

Siapa yang meluncurkan K Prize?

K Prize diluncurkan oleh Andy Konwinski, pendiri Databricks dan Perplexity.