Courtesy of QuantaMagazine

Model Bahasa Kecil: Solusi Hemat Energi dan Biaya untuk AI Canggih

10 Mar 2025, 07.00 WIB

130 dibaca

Ikhtisar 15 Detik

Model bahasa kecil dapat melakukan tugas spesifik dengan efisien dan hemat sumber daya.
Proses distilasi pengetahuan memungkinkan model besar untuk mentransfer pengetahuan ke model kecil.
Pemangkasan dapat meningkatkan efisiensi model bahasa dengan menghilangkan parameter yang tidak perlu.

Model bahasa besar (LLM) seperti yang dibuat oleh OpenAI dan Google sangat kuat karena memiliki ratusan miliar "parameter" yang membantu mereka mengenali pola dalam data. Namun, melatih model sebesar itu membutuhkan banyak sumber daya komputer dan energi, sehingga beberapa peneliti mulai mengembangkan model bahasa kecil (SLM) yang hanya menggunakan beberapa miliar parameter. Meskipun tidak sekuat LLM, SLM dapat melakukan tugas tertentu dengan baik, seperti menjawab pertanyaan atau merangkum percakapan, dan dapat dijalankan di perangkat seperti laptop atau ponsel.

Untuk membuat SLM lebih efektif, peneliti menggunakan teknik seperti "penyulingan pengetahuan," di mana model besar membantu melatih model kecil dengan memberikan data berkualitas tinggi. Selain itu, mereka juga menggunakan metode "pemangkasan" untuk menghapus bagian-bagian yang tidak perlu dari model besar. Model kecil ini lebih mudah untuk diteliti dan lebih murah untuk dilatih, sehingga bisa menjadi pilihan yang baik untuk banyak pengguna yang tidak memerlukan model besar.

--------------------

Analisis Kami: Pendekatan menggunakan model kecil adalah langkah penting untuk mendemokratisasi teknologi AI dengan mengurangi hambatan biaya dan sumber daya. Namun, kita harus tetap berhati-hati agar optimasi tersebut tidak mengorbankan kemampuan model dalam memahami konteks yang lebih luas.

--------------------

Analisis Ahli:

Zico Kolter: Model dengan 8 miliar parameter sudah cukup efektif untuk banyak aplikasi khusus, memberikan solusi praktis yang hemat sumber daya.

Yann LeCun: Pruning bisa menghilangkan hingga 90% parameter tanpa kehilangan performa, menunjukkan efisiensi besar dalam desain model.

Leshem Choshen: Model kecil memungkinkan eksperimen yang lebih murah dan transparan, membantu inovasi dalam pengembangan AI.

--------------------

What's Next: Model bahasa kecil akan semakin populer untuk aplikasi khusus karena efisiensi biaya dan energi, sementara model besar masih digunakan untuk aplikasi umum yang kompleks.

Referensi:
[1] https://www.quantamagazine.org/why-do-researchers-care-about-small-language-models-20250310/