Courtesy of TechCrunch

OpenAI Luncurkan Sistem Pemantauan untuk Cegah AI Berikan Arahan Bahaya

Mengurangi risiko penggunaan model AI untuk mengembangkan ancaman biologis dan kimia oleh pengguna jahat.

17 Apr 2025, 04.12 WIB

69 dibaca

Ikhtisar 15 Detik

OpenAI telah menerapkan sistem monitoring untuk mencegah penyalahgunaan model AI terkait ancaman biologis.
Model o3 dan o4-mini menunjukkan peningkatan kemampuan yang signifikan dibandingkan model sebelumnya.
Meskipun ada upaya untuk meningkatkan keselamatan, beberapa peneliti merasa OpenAI perlu lebih memprioritaskan aspek keselamatan.

Amerika Serikat - OpenAI telah mengembangkan sistem baru untuk memantau model AI terbaru mereka, o3 dan o4-mini, terkait ancaman biologis dan kimia. Sistem ini bertujuan untuk mencegah model memberikan saran yang dapat digunakan untuk melakukan serangan berbahaya. O3 dan o4-mini memiliki peningkatan kemampuan yang signifikan dibandingkan model sebelumnya, sehingga menimbulkan risiko baru di tangan aktor jahat.

Sistem pemantauan baru, yang disebut sebagai 'monitor penalaran berfokus pada keselamatan,' dirancang untuk mengidentifikasi prompt terkait risiko biologis dan kimia dan menginstruksikan model untuk menolak memberikan saran tentang topik tersebut. Selama pengujian, model menolak untuk merespons prompt berisiko 98,7% dari waktu. OpenAI menghabiskan sekitar 1.000 jam untuk menandai percakapan terkait risiko biologis yang tidak aman dari o3 dan o4-mini.

Meskipun demikian, beberapa peneliti mengkhawatirkan bahwa OpenAI tidak memprioritaskan keselamatan sebagaimana mestinya. Salah satu mitra red-teaming OpenAI, Metr, menyatakan bahwa mereka memiliki waktu yang relatif sedikit untuk menguji o3 pada tolok ukur perilaku menipu. OpenAI juga memutuskan untuk tidak merilis laporan keselamatan untuk model GPT-4.1 yang diluncurkan baru-baru ini.

--------------------

Analisis Kami: Meskipun langkah OpenAI dalam menciptakan sistem pemantauan keamanan adalah kemajuan penting, masih terasa kurang dalam hal transparansi durasi uji coba dan respons terhadap manipulasi setelah pemblokiran. Keselamatan dalam penggunaan AI harus menjadi prioritas utama, dan OpenAI perlu lebih terbuka serta sigap dalam mengantisipasi berbagai teknik pengelabuan yang bisa muncul.

--------------------

Analisis Ahli:

Dr. Emily Chen (Ahli Keamanan Siber dan Etika AI): Penggunaan monitor reasoning yang dikustomisasi sangat berarti untuk mencegah penyebaran pengetahuan berbahaya, namun perlu pengujian berkelanjutan dan kombinasi kontrol manusia agar risiko bisa diminimalisir secara efektif.

--------------------

What's Next: Ke depan, OpenAI kemungkinan akan memperkuat sistem pengawasan otomatis dan mengintegrasikan lebih banyak pemantauan manusia untuk menangkal eksploitasi AI dalam konteks ancaman biologis dan kimia yang semakin kompleks.

Referensi:
[1] https://techcrunch.com/2025/04/16/openais-latest-ai-models-have-a-new-safeguard-to-prevent-biorisks/

Pertanyaan Terkait

Apa tujuan dari sistem monitoring yang diterapkan oleh OpenAI?

Tujuan dari sistem monitoring adalah untuk mencegah model memberikan saran terkait ancaman biologis dan kimia.

Model apa yang menjadi fokus dalam laporan ini?

Model yang menjadi fokus dalam laporan ini adalah o3 dan o4-mini.

Bagaimana OpenAI menguji efektivitas sistem monitoringnya?

OpenAI menguji efektivitas sistem monitoring dengan mensimulasikan logika pemblokiran dan melibatkan red teamers untuk mengidentifikasi percakapan berisiko.

Apa yang dikhawatirkan oleh OpenAI terkait model o3 dan o4-mini?

OpenAI khawatir bahwa model o3 dan o4-mini dapat digunakan oleh pengguna jahat untuk mengembangkan ancaman biologis dan kimia.

Siapa mitra red teaming yang disebutkan dalam artikel ini?

Mitra red teaming yang disebutkan dalam artikel ini adalah Metr.