Courtesy of Axios

OpenAI Perbarui Kerangka Risiko AI Fokus pada Bahaya Besar dan Kemampuan Tersembunyi

Menjelaskan perubahan yang dilakukan OpenAI pada kerangka kesiapan mereka untuk memastikan keamanan model AI baru.

16 Apr 2025, 01.59 WIB

135 dibaca

Ikhtisar 15 Detik

OpenAI memperbarui kerangka kesiapan untuk lebih fokus pada risiko tinggi dan kritis.
Perubahan ini mencakup penambahan kategori penelitian baru yang berkaitan dengan kemampuan model untuk menyembunyikan dan mereplikasi diri.
Peneliti di OpenAI menekankan pentingnya pengamanan untuk mencegah risiko bencana yang mungkin ditimbulkan oleh model AI yang semakin canggih.

Amerika Serikat - OpenAI sedang memperbarui sistem evaluasi risiko mereka untuk model AI baru dengan menambahkan kategori baru yang mencakup model yang dapat mereplikasi diri atau menyembunyikan kemampuan mereka. Perubahan ini bertujuan untuk memastikan bahwa model AI aman dan menentukan pengamanan yang diperlukan selama pengembangan dan rilis publik.

Perusahaan tidak lagi mengevaluasi model berdasarkan kemampuan persuasif mereka dan akan fokus pada apakah risiko mencapai tingkat 'tinggi' atau 'kritis'. Selain itu, OpenAI menambahkan kategori penelitian baru untuk memantau apakah model dapat menyembunyikan kemampuan, menghindari pengamanan, atau berusaha mereplikasi diri atau mencegah penutupan.

Perubahan ini adalah yang pertama kali dilakukan sejak kerangka diperkenalkan pada Desember 2023. OpenAI menyatakan bahwa sistem AI yang akan datang akan memiliki kemampuan untuk menciptakan risiko signifikan dari kerusakan parah, sehingga diperlukan pengamanan yang dapat diandalkan untuk keselamatan dan keamanan.

--------------------

Analisis Kami: Perubahan kerangka kerja ini sangat tepat karena menyesuaikan fokus evaluasi risiko pada ancaman yang benar-benar kritis, mengurangi beban pada kategori risiko yang kurang relevan. Namun, pengawasan dan transparansi yang berkelanjutan tetap sangat penting agar teknologi AI tidak berkembang di luar kendali manusia.

--------------------

Analisis Ahli:

Sandhini Agarwal: Kerangka baru membantu mengarahkan perhatian kami pada risiko bencana, bukan sekadar risiko rendah hingga menengah, untuk menyiapkan pengamanan yang lebih efektif pada model AI berbahaya.

--------------------

What's Next: Ke depan, pengembangan model AI akan semakin diawasi ketat dengan standar pengamanan yang lebih canggih untuk mencegah potensi risiko serius, termasuk kemungkinan model AI yang bertindak agentik dan sulit dikendalikan.

Referensi:
[1] https://www.axios.com/2025/04/15/openai-risks-frameworks-changes

Pertanyaan Terkait

Apa tujuan dari kerangka kesiapan yang digunakan oleh OpenAI?

Tujuan dari kerangka kesiapan adalah untuk mengevaluasi apakah model AI aman dan menentukan pengamanan yang diperlukan selama pengembangan dan rilis publik.

Apa perubahan terbaru yang dilakukan OpenAI pada kerangka kesiapan?

Perubahan terbaru termasuk penghapusan evaluasi kemampuan persuasif dan fokus pada risiko tinggi atau kritis, serta penambahan kategori penelitian baru.

Mengapa OpenAI menghapus evaluasi kemampuan persuasif dari kerangka mereka?

OpenAI menghapus evaluasi kemampuan persuasif karena model-model terbaru telah mencapai tingkat risiko 'sedang' dalam area tersebut.

Apa risiko baru yang ditambahkan dalam kategori penelitian?

Risiko baru yang ditambahkan termasuk kemampuan model untuk menyembunyikan kemampuan, menghindari pengamanan, atau berusaha untuk mereplikasi diri.

Siapa Sandhini Agarwal dan apa perannya di OpenAI?

Sandhini Agarwal adalah peneliti keselamatan di OpenAI yang menjelaskan bahwa perubahan dalam kerangka tersebut bertujuan untuk melindungi terhadap risiko yang paling parah.