Courtesy of NatureMagazine

Metrik Baru Ungkap Seberapa Cepat AI Bisa Menyelesaikan Tugas Sulit Manusia

19 Mar 2025, 07.00 WIB

125 dibaca

Ikhtisar 15 Detik

Kemajuan model AI menunjukkan peningkatan yang signifikan dalam waktu penyelesaian tugas.
Metrik baru yang dikembangkan oleh METR memberikan cara yang lebih baik untuk menilai kemajuan AI.
Meskipun model AI semakin canggih, dampak ekonominya masih terbatas dan memerlukan lebih banyak eksperimen.

Sebuah organisasi non-profit bernama METR di Berkeley, California, telah mengembangkan metrik baru untuk menilai kemajuan model kecerdasan buatan (AI). Mereka menciptakan hampir 170 tugas nyata dalam bidang pemrograman, keamanan siber, dan pemikiran umum, lalu mengukur berapa lama waktu yang dibutuhkan oleh programmer ahli untuk menyelesaikannya. Metrik ini disebut 'horizon waktu penyelesaian tugas', yang menunjukkan seberapa cepat AI dapat menyelesaikan tugas dibandingkan dengan manusia. Hasil penelitian menunjukkan bahwa model AI terkemuka telah mengalami peningkatan pesat, dan diperkirakan bahwa pada tahun 2029, AI akan mampu menyelesaikan tugas yang biasanya memerlukan waktu sebulan bagi manusia dengan tingkat keberhasilan 50%.

Meskipun kemajuan AI sangat cepat, beberapa ahli mengingatkan bahwa prediksi ini mungkin tidak sepenuhnya akurat karena banyak faktor yang belum diketahui tentang bagaimana AI akan digunakan. Metrik baru ini membantu menjelaskan mengapa meskipun model AI terbaik sudah menunjukkan kinerja yang sangat baik, dampak ekonominya masih terbatas. Beberapa peneliti percaya bahwa jika organisasi lebih berani untuk bereksperimen dan berinvestasi dalam penggunaan AI, dampak ekonominya bisa lebih besar.

--------------------

Analisis Kami: Metrik 'task-completion time horizon' ini adalah terobosan penting untuk menilai kemampuan AI dari perspektif kegunaan praktis, bukan sekadar angka akurasi di benchmark klasik. Namun, kemajuan teknis harus diiringi dengan kesiapan organisasi dalam mengadopsi teknologi ini agar manfaatnya dapat direalisasikan secara nyata di dunia bisnis dan riset.

--------------------

Analisis Ahli:

Joshua Gans: Perkiraan berdasarkan tren saat ini menarik namun kurang memperhitungkan variabel penggunaan AI dalam kehidupan nyata yang kompleks dan penuh ketidakpastian.

--------------------

What's Next: Jika tren kemajuan ini berlanjut, dalam waktu dekat AI akan mampu menyelesaikan tugas-tugas yang selama ini hanya bisa dilakukan manusia dalam jangka waktu sebulan, yang dapat memicu perubahan besar dalam bisnis, ilmu pengetahuan, dan berbagai sektor ekonomi lainnya.

Referensi:
[1] https://nature.com/articles/d41586-025-00831-8