Courtesy of TechCrunch

Model AI Terbaru OpenAI Makin Sering Buat Informasi Palsu Meski Lebih Pintar

Menyoroti masalah halusinasi yang meningkat pada model AI terbaru OpenAI dan pentingnya penelitian lebih lanjut untuk mengatasi masalah ini.

19 Apr 2025, 04.09 WIB

149 dibaca

Ikhtisar 15 Detik

Model o3 dan o4-mini dari OpenAI mengalami peningkatan tingkat halusinasi dibandingkan model sebelumnya.
Transluce menemukan bahwa model o3 sering menghasilkan informasi yang tidak akurat, termasuk klaim tentang menjalankan kode.
Memberikan kemampuan pencarian web dapat menjadi solusi untuk meningkatkan akurasi model AI.

Amerika Serikat - OpenAI baru-baru ini meluncurkan model AI o3 dan o4-mini yang canggih, tetapi model baru ini masih mengalami halusinasi lebih sering dibandingkan dengan beberapa model lama OpenAI. Halusinasi telah menjadi salah satu masalah terbesar dan paling sulit dipecahkan dalam AI, mempengaruhi sistem dengan kinerja terbaik saat ini. Model o3 dan o4-mini menunjukkan kinerja lebih baik dalam tugas terkait pengkodean dan matematika, tetapi mereka juga membuat lebih banyak klaim yang tidak akurat.

Menurut pengujian internal OpenAI, model o3 mengalami halusinasi dalam 33% pertanyaan pada benchmark PersonQA, sementara model o4-mini mengalami halusinasi dalam 48% pertanyaan. Penelitian oleh Transluce menemukan bahwa model o3 cenderung membuat klaim palsu tentang tindakan yang diambil dalam proses menjawab pertanyaan. Model o3 juga sering memberikan tautan situs web yang rusak.

Para ahli seperti Neil Chowdhury dan Sarah Schwettmann menyatakan bahwa jenis pembelajaran penguatan yang digunakan untuk model seri o mungkin memperburuk masalah halusinasi. Kian Katanforoosh juga mencatat bahwa model o3 cenderung memberikan tautan situs web yang rusak. OpenAI menyadari masalah ini dan menyatakan bahwa penelitian lebih lanjut diperlukan untuk memahami dan mengatasi peningkatan halusinasi pada model AI terbaru mereka.

--------------------

Analisis Kami: Meningkatnya hallucination pada model reasoning seharusnya menjadi alarm bahwa metode pembelajaran saat ini memiliki limitasi serius dalam menjaga keakuratan. OpenAI perlu menginvestasikan lebih banyak waktu dalam pendekatan baru yang tidak hanya fokus pada kemampuan berlogika, tetapi juga memverifikasi fakta secara ketat sebelum model menyampaikan jawaban.

--------------------

Analisis Ahli:

Neil Chowdhury: Reinforcement learning untuk model o-series mungkin memperparah masalah yang biasanya masih bisa dikurangi oleh proses pasca pelatihan standar.

Sarah Schwettmann: Tingkat hallucination o3 yang tinggi dapat membuat model ini kurang berguna dari segi keandalan informasi.

Kian Katanforoosh: Dalam pengujian coding, o3 lebih unggul dari kompetitor tapi masih sering memberikan link yang tidak valid.

--------------------

What's Next: Jika masalah hallucinations ini tidak segera diatasi, model reasoning AI ke depan mungkin akan semakin tidak dapat diandalkan dalam konteks yang membutuhkan tingkat akurasi tinggi, sehingga membatasi penggunaannya di dunia bisnis dan profesional.

Referensi:
[1] https://techcrunch.com/2025/04/18/openais-new-reasoning-ai-models-hallucinate-more/

Pertanyaan Terkait

Apa yang dimaksud dengan halusinasi dalam konteks model AI?

Halusinasi dalam konteks model AI merujuk pada kemampuan model untuk menghasilkan informasi yang tidak akurat atau fiktif.

Mengapa model o3 dan o4-mini mengalami tingkat halusinasi yang lebih tinggi?

Model o3 dan o4-mini mengalami tingkat halusinasi yang lebih tinggi karena mereka membuat lebih banyak klaim secara keseluruhan, yang mengarah pada lebih banyak klaim akurat dan tidak akurat.

Apa yang ditemukan oleh Transluce tentang model o3?

Transluce menemukan bahwa model o3 cenderung mengklaim telah menjalankan kode di luar ChatGPT, meskipun sebenarnya tidak dapat melakukannya.

Siapa Kian Katanforoosh dan apa pendapatnya tentang model o3?

Kian Katanforoosh adalah profesor tambahan di Stanford yang menguji model o3 dan menemukan bahwa model tersebut sering memberikan tautan situs web yang tidak berfungsi.

Apa pendekatan yang dianggap menjanjikan untuk meningkatkan akurasi model AI?

Pendekatan yang dianggap menjanjikan untuk meningkatkan akurasi model AI adalah memberikan kemampuan pencarian web.