Courtesy of Axios
OpenAI Perbarui Kerangka Kesiapan untuk Menghadapi Risiko AI yang Lebih Besar
Menjelaskan perubahan yang dilakukan OpenAI pada kerangka kesiapan mereka untuk memastikan keamanan model AI baru.
16 Apr 2025, 01.59 WIB
122 dibaca
Share
Ikhtisar 15 Detik
- OpenAI memperbarui kerangka kesiapan untuk lebih fokus pada risiko tinggi dan kritis.
- Perubahan ini mencakup penambahan kategori penelitian baru yang berkaitan dengan kemampuan model untuk menyembunyikan dan mereplikasi diri.
- Peneliti di OpenAI menekankan pentingnya pengamanan untuk mencegah risiko bencana yang mungkin ditimbulkan oleh model AI yang semakin canggih.
Amerika Serikat - OpenAI sedang memperbarui sistem evaluasi risiko mereka untuk model AI baru dengan menambahkan kategori baru yang mencakup model yang dapat mereplikasi diri atau menyembunyikan kemampuan mereka. Perubahan ini bertujuan untuk memastikan bahwa model AI aman dan menentukan pengamanan yang diperlukan selama pengembangan dan rilis publik.
Perusahaan tidak lagi mengevaluasi model berdasarkan kemampuan persuasif mereka dan akan fokus pada apakah risiko mencapai tingkat 'tinggi' atau 'kritis'. Selain itu, OpenAI menambahkan kategori penelitian baru untuk memantau apakah model dapat menyembunyikan kemampuan, menghindari pengamanan, atau berusaha mereplikasi diri atau mencegah penutupan.
Perubahan ini adalah yang pertama kali dilakukan sejak kerangka diperkenalkan pada Desember 2023. OpenAI menyatakan bahwa sistem AI yang akan datang akan memiliki kemampuan untuk menciptakan risiko signifikan dari kerusakan parah, sehingga diperlukan pengamanan yang dapat diandalkan untuk keselamatan dan keamanan.
Pertanyaan Terkait
Q
Apa tujuan dari kerangka kesiapan yang digunakan oleh OpenAI?A
Tujuan dari kerangka kesiapan adalah untuk mengevaluasi apakah model AI aman dan menentukan pengamanan yang diperlukan selama pengembangan dan rilis publik.Q
Apa perubahan terbaru yang dilakukan OpenAI pada kerangka kesiapan?A
Perubahan terbaru termasuk penghapusan evaluasi kemampuan persuasif dan fokus pada risiko tinggi atau kritis, serta penambahan kategori penelitian baru.Q
Mengapa OpenAI menghapus evaluasi kemampuan persuasif dari kerangka mereka?A
OpenAI menghapus evaluasi kemampuan persuasif karena model-model terbaru telah mencapai tingkat risiko 'sedang' dalam area tersebut.Q
Apa risiko baru yang ditambahkan dalam kategori penelitian?A
Risiko baru yang ditambahkan termasuk kemampuan model untuk menyembunyikan kemampuan, menghindari pengamanan, atau berusaha untuk mereplikasi diri.Q
Siapa Sandhini Agarwal dan apa perannya di OpenAI?A
Sandhini Agarwal adalah peneliti keselamatan di OpenAI yang menjelaskan bahwa perubahan dalam kerangka tersebut bertujuan untuk melindungi terhadap risiko yang paling parah.Artikel Serupa
Teknologi
1 bulan lalu
129 dibaca
OpenAI to Launch Highly Permissive Open Language Model This Summer
Teknologi
2 bulan lalu
54 dibaca
OpenAI Luncurkan Sistem Pemantauan Baru untuk Cegah Ancaman Biologis dan Kimia
Teknologi
2 bulan lalu
87 dibaca
OpenAI Menyeimbangkan Kecepatan Rilis dan Standar Keselamatan dalam Pengembangan AI
Teknologi
2 bulan lalu
124 dibaca
Saatnya mulai mempersiapkan untuk AGI, kata Google.
Teknologi
3 bulan lalu
129 dibaca
Kepala kebijakan lama OpenAI mengkritik perusahaan karena 'menulis ulang' sejarah keselamatan AI-nya.
Teknologi
3 bulan lalu
56 dibaca