Courtesy of TechCrunch

Biaya Tinggi Pengujian Model Reasoning AI Mengancam Transparansi Hasil

To discuss the high costs and challenges associated with benchmarking reasoning AI models compared to non-reasoning models.

10 Apr 2025, 20.30 WIB

127 dibaca

Ikhtisar 15 Detik

Model reasoning cenderung lebih mahal untuk diuji dibandingkan model non-reasoning.
Biaya evaluasi meningkat seiring dengan kompleksitas benchmark yang digunakan.
Akses gratis ke model dapat mempengaruhi integritas hasil evaluasi.

United States - AI labs like OpenAI claim that their reasoning AI models are more capable in specific domains, but these models are expensive to benchmark, making independent verification difficult. Artificial Analysis, a third-party AI testing outfit, has spent significantly more on evaluating reasoning models compared to non-reasoning models.

The high costs are mainly due to the large number of tokens generated by reasoning models during benchmarking tests. Modern benchmarks often involve complex, multi-step tasks that elicit a lot of tokens, adding to the expense.

Experts like George Cameron and Ross Taylor highlight the challenges and rising costs of benchmarking, which could hinder academic research. Despite the high costs, the performance of AI models has improved over time, although evaluating the best models remains expensive.

--------------------

Analisis Kami: Biaya benchmarking yang sangat mahal untuk model reasoning menjadi penghalang besar dalam pengembangan AI yang transparan dan bisa diuji secara adil oleh komunitas luas. Jika biaya ini tidak dikendalikan, risiko dominasi narasi oleh lab AI besar makin besar dan inovasi bisa semakin terkunci di tangan segelintir pihak saja.

--------------------

Analisis Ahli:

George Cameron: Artificial Analysis akan meningkatkan anggaran benchmarking karena tren rilis model reasoning semakin meningkat, menunjukkan kebutuhan untuk evaluasi terus menerus dalam skala besar.

Ross Taylor: Kesulitan reproduksi hasil benchmarking karena biaya yang sangat tinggi membuat keilmuan AI jadi meragukan dan menimbulkan isu validitas ilmiah.

Jean-Stanislas Denain: Meskipun biaya per token naik, efisiensi model makin meningkat sehingga biaya keseluruhan untuk mencapai performa tertentu malah turun dari waktu ke waktu.

--------------------

What's Next: Biaya benchmarking model reasoning AI akan terus meningkat seiring dengan meningkatnya kompleksitas dan kemampuan model, sehingga kemungkinan hanya lembaga besar dengan anggaran besar yang mampu mendukung evaluasi independen secara menyeluruh.

Referensi:
[1] https://techcrunch.com/2025/04/10/the-rise-of-ai-reasoning-models-is-making-benchmarking-more-expensive/

Pertanyaan Terkait

Mengapa model reasoning lebih mahal untuk diuji?

Model reasoning lebih mahal untuk diuji karena mereka menghasilkan banyak token selama evaluasi, yang meningkatkan biaya penggunaan.

Apa yang dimaksud dengan token dalam konteks model AI?

Token adalah unit teks yang digunakan dalam pemrosesan bahasa alami, seperti kata atau bagian dari kata, yang dihitung untuk menentukan biaya penggunaan model.

Siapa yang mengembangkan model Claude?

Model Claude dikembangkan oleh Anthropic, yang merupakan organisasi yang fokus pada pengembangan AI yang aman.

Apa tujuan dari Artificial Analysis?

Tujuan dari Artificial Analysis adalah untuk melakukan pengujian dan evaluasi terhadap model-model AI untuk memberikan wawasan tentang kinerja mereka.

Mengapa akses model gratis dapat mempengaruhi hasil evaluasi?

Akses model gratis dapat mempengaruhi hasil evaluasi karena dapat menciptakan bias dalam penilaian, meskipun tidak ada bukti manipulasi.