Courtesy of TechCrunch

High Costs and Challenges of Benchmarking Reasoning AI Models

To discuss the high costs and challenges associated with benchmarking reasoning AI models compared to non-reasoning models.

10 Apr 2025, 20.30 WIB

123 dibaca

Ikhtisar 15 Detik

Model reasoning cenderung lebih mahal untuk diuji dibandingkan model non-reasoning.
Biaya evaluasi meningkat seiring dengan kompleksitas benchmark yang digunakan.
Akses gratis ke model dapat mempengaruhi integritas hasil evaluasi.

United States - AI labs like OpenAI claim that their reasoning AI models are more capable in specific domains, but these models are expensive to benchmark, making independent verification difficult. Artificial Analysis, a third-party AI testing outfit, has spent significantly more on evaluating reasoning models compared to non-reasoning models.

The high costs are mainly due to the large number of tokens generated by reasoning models during benchmarking tests. Modern benchmarks often involve complex, multi-step tasks that elicit a lot of tokens, adding to the expense.

Experts like George Cameron and Ross Taylor highlight the challenges and rising costs of benchmarking, which could hinder academic research. Despite the high costs, the performance of AI models has improved over time, although evaluating the best models remains expensive.

Sumber: https://techcrunch.com/2025/04/10/the-rise-of-ai-reasoning-models-is-making-benchmarking-more-expensive/

Pertanyaan Terkait

Mengapa model reasoning lebih mahal untuk diuji?

Model reasoning lebih mahal untuk diuji karena mereka menghasilkan banyak token selama evaluasi, yang meningkatkan biaya penggunaan.

Apa yang dimaksud dengan token dalam konteks model AI?

Token adalah unit teks yang digunakan dalam pemrosesan bahasa alami, seperti kata atau bagian dari kata, yang dihitung untuk menentukan biaya penggunaan model.

Siapa yang mengembangkan model Claude?

Model Claude dikembangkan oleh Anthropic, yang merupakan organisasi yang fokus pada pengembangan AI yang aman.

Apa tujuan dari Artificial Analysis?

Tujuan dari Artificial Analysis adalah untuk melakukan pengujian dan evaluasi terhadap model-model AI untuk memberikan wawasan tentang kinerja mereka.

Mengapa akses model gratis dapat mempengaruhi hasil evaluasi?

Akses model gratis dapat mempengaruhi hasil evaluasi karena dapat menciptakan bias dalam penilaian, meskipun tidak ada bukti manipulasi.