Courtesy of Wired

Bahaya Hallusinasi Paket: Ancaman Serangan Keamanan dari Kode AI Palsu

Mengungkap fenomena 'package hallucination' dalam kode yang dihasilkan oleh model bahasa besar dan efek berbahayanya pada rantai pasokan perangkat lunak, serta perbedaan tingkat hallusinasi antar model dan bahasa pemrograman.

01 Mei 2025, 02.08 WIB

27 dibaca

Ikhtisar 15 Detik

Model bahasa besar dapat menghasilkan dependensi yang tidak ada, yang disebut 'package hallucination'.
Dependensi yang tidak ada dapat meningkatkan risiko serangan kebingungan paket, yang dapat membahayakan keamanan perangkat lunak.
Ada perbedaan signifikan dalam tingkat hallucination antara model open source dan komersial, serta antara bahasa pemrograman Python dan JavaScript.

Texas, United States - Penelitian terbaru menemukan bahwa model bahasa besar (LLM) yang digunakan untuk membuat kode komputer sering memasukkan nama paket yang tidak benar atau tidak ada, yang disebut 'hallusinasi paket'. Hal ini membahayakan rantai pasokan perangkat lunak, karena bisa dimanfaatkan oleh penyerang untuk menyisipkan kode berbahaya dengan nama paket palsu.

Studi ini melibatkan 16 model bahasa dan menghasilkan lebih dari setengah juta contoh kode. Dari jutaan referensi paket dalam kode tersebut, hampir 20% menunjuk ke paket yang sebenarnya tidak ada. Model open source seperti CodeLlama lebih sering membuat kesalahan ini dibanding model komersial seperti ChatGPT.

Hallusinasi ini tidak terjadi secara acak. Sebagian besar paket palsu muncul berulang kali, yang artinya penyerang bisa tahu paket palsu mana yang sering digunakan dan membangun malware dengan nama tersebut untuk menipu banyak developer yang mengikuti saran LLM tanpa verifikasi.

Tingkat hallusinasi juga dipengaruhi oleh bahasa pemrograman. JavaScript dengan ribuan paket yang lebih banyak dan namespace kompleks menghasilkan lebih banyak kesalahan dibanding Python. Selain itu, ukuran model, data pelatihan, dan metode penyempurnaan juga berperan dalam tingkat kesalahan ini.

Para peneliti mengingatkan bahwa meskipun teknologi AI semakin maju, pengembang harus tetap berhati-hati dan memverifikasi setiap paket yang digunakan agar tidak terjebak serangan keamanan yang berbahaya yang memanfaatkan fenomena hallusinasi paket ini.--------------------

Analisis Ahli:

Referensi:
[1] https://wired.com/story/ai-code-hallucinations-increase-the-risk-of-package-confusion-attacks/

Pertanyaan Terkait

Apa yang dimaksud dengan 'package hallucination'?

'Package hallucination' adalah fenomena di mana model bahasa besar menghasilkan referensi paket yang tidak ada dalam output mereka.

Mengapa dependensi yang tidak ada menjadi ancaman bagi rantai pasokan perangkat lunak?

Dependensi yang tidak ada dapat menyebabkan perangkat lunak mengakses komponen yang salah, yang dapat mengakibatkan eksekusi kode jahat.

Apa perbedaan antara model bahasa besar open source dan komersial dalam konteks hallucination?

Model bahasa besar open source memiliki tingkat hallucination yang lebih tinggi dibandingkan model komersial, kemungkinan karena ukuran parameter yang lebih kecil.

Bagaimana serangan kebingungan paket dapat dieksploitasi oleh penyerang?

Penyerang dapat menerbitkan paket jahat dengan nama yang sama dengan paket yang sah, menunggu pengguna untuk menginstalnya tanpa verifikasi.

Apa yang ditemukan oleh penelitian terkait frekuensi pengulangan package hallucination?

Penelitian menemukan bahwa 58 persen dari package hallucination diulang lebih dari sekali dalam 10 iterasi, menunjukkan bahwa hal ini bukanlah kesalahan acak.