Courtesy of InterestingEngineering

Membuat AI Canggih Hanya dengan Rp 493.35 ribu ($30) : Revolusi Model Kecil dan Murah dari Berkeley

31 Jan 2025, 20.24 WIB

105 dibaca

Sekelompok peneliti dari Universitas California, Berkeley, mengklaim telah berhasil menciptakan teknologi inti di balik AI DeepSeek dengan biaya sekitar Rp 493.35 ribu ($30) . Mereka memperkenalkan model AI yang lebih kecil bernama "TinyZero" yang dapat melakukan fungsi serupa dengan model DeepSeek yang lebih besar, R1. Meskipun TinyZero tidak sekuat model DeepSeek yang memiliki 671 miliar parameter, peneliti Jiayi Pan mengatakan bahwa TinyZero mampu menangkap perilaku dasar dari model R1-Zero. Metode yang digunakan adalah pembelajaran penguatan, di mana AI belajar dari kesalahan dan memperbaiki jawabannya seiring waktu.

Penemuan ini mengejutkan banyak orang karena menunjukkan bahwa inovasi AI canggih tidak selalu memerlukan anggaran besar. Meskipun ada skeptisisme tentang klaim biaya rendah dari DeepSeek, proyek TinyZero menunjukkan bahwa pengembangan AI yang efisien dan terjangkau mungkin bisa dilakukan oleh individu atau startup kecil. Hal ini membuka diskusi tentang masa depan AI dan bagaimana perusahaan besar seperti OpenAI dan Google mungkin perlu mempertimbangkan kembali pengeluaran mereka jika pengembang sumber terbuka dapat menciptakan teknologi serupa dengan biaya yang jauh lebih rendah.

--------------------

Analisis Kami: Penemuan ini mengingatkan bahwa inovasi tidak selalu bergantung pada anggaran besar, melainkan pada pendekatan kreatif dan efisien dalam pemanfaatan teknologi. Namun, untuk aplikasi luas dan kompleks, skala tetap diperlukan, jadi ini bukan pengganti total model raksasa, tapi punya potensi revolusioner pada penggunaan AI yang hemat sumber daya.

--------------------

Analisis Ahli:

Yoshua Bengio: Demonstrasi ini sangat menarik karena menyoroti potensi reinforcement learning sebagai metode yang lebih hemat biaya dibandingkan pelatihan model besar.

Andrew Ng: Model kecil yang efektif dapat membuka akses lebih luas untuk inovasi AI, tetapi skala dan kemampuan tetap memerlukan sumber daya signifikan.

--------------------

What's Next: Di masa depan, akan semakin banyak proyek AI open-source yang mampu menghasilkan teknologi kompetitif dengan biaya rendah, memaksa perusahaan besar untuk mengevaluasi ulang strategi investasi mereka dalam infrastruktur AI.

Referensi:
[1] https://interestingengineering.com/innovation/us-researchers-recreate-deepseek-for-peanuts

Pertanyaan Terkait

Apa yang diklaim oleh tim peneliti di University of California, Berkeley?

Tim peneliti di University of California, Berkeley mengklaim telah berhasil mereproduksi teknologi inti di balik AI DeepSeek dengan biaya sekitar $30.

Siapa yang memimpin tim peneliti yang mengembangkan TinyZero?

Tim peneliti yang mengembangkan TinyZero dipimpin oleh Jiayi Pan, seorang kandidat PhD.

Apa perbedaan antara model R1 dan TinyZero?

Model R1 adalah model AI besar dari DeepSeek, sedangkan TinyZero adalah versi skala kecil yang lebih hemat biaya.

Mengapa model TinyZero dianggap sebagai inovasi dalam dunia AI?

TinyZero dianggap sebagai inovasi karena menunjukkan bahwa pembelajaran penguatan canggih dapat dilakukan dengan sumber daya yang minim.

Apa dampak dari penelitian ini terhadap industri AI secara keseluruhan?

Penelitian ini dapat mengubah cara pandang terhadap biaya dan sumber daya yang diperlukan untuk pengembangan AI, serta mendorong lebih banyak inisiatif open-source.