Courtesy of QuantaMagazine

Teknik Distillation: Rahasia di Balik Kehebatan Chatbot Kecil DeepSeek

Menjelaskan tentang teknik distillation dalam AI, membahas kontroversi seputar penggunaan teknik ini oleh DeepSeek, serta mengedukasi pembaca mengenai pentingnya distillation sebagai metode efisiensi model AI yang sudah digunakan luas dalam industri.

18 Jul 2025, 07.00 WIB

66 dibaca

Ikhtisar 15 Detik

Teknik distilasi merupakan alat penting dalam efisiensi model AI.
DeepSeek menantang dominasi perusahaan teknologi besar dengan model yang lebih efisien.
Model AI yang lebih kecil dapat mencapai hasil yang sama dengan biaya pelatihan yang jauh lebih rendah.

San Francisco, Amerika Serikat - DeepSeek, perusahaan AI kecil asal China, mengejutkan dunia dengan merilis chatbot R1 yang diklaim bisa menyaingi model AI besar dengan biaya dan daya komputasi yang jauh lebih rendah. Hal ini menyebabkan harga saham perusahaan teknologi besar di Barat anjlok, terutama Nvidia yang memasok chip untuk AI.

Tuduhan pun muncul bahwa DeepSeek menggunakan teknik distillation untuk mendapatkan pengetahuan dari model OpenAI o1 tanpa izin. Namun, distillation bukan teknik baru melainkan metode yang sudah dipakai bertahun-tahun untuk membuat model AI lebih efisien dan kecil tanpa kehilangan banyak akurasi.

Distillation pertama kali diperkenalkan pada 2015 oleh Google, termasuk Geoffrey Hinton, yang menjelaskan cara mengajari model kecil dari distribusi probabilitas model besar sehingga model kecil bisa belajar lebih cepat dan akurat. Teknik ini menjadi populer terutama ketika model AI semakin besar dan mahal untuk dijalankan.

Teknik ini sekarang digunakan secara luas, misalnya Google dengan DistilBERT dan perusahaan besar seperti OpenAI serta Amazon yang menawarkan layanan distillation. Peneliti di Berkeley bahkan menunjukkan distillation efektif untuk model berpikir berlapis dengan biaya pelatihan sangat rendah.

Meskipun sulit melakukan distillation secara sembunyi-sembunyi dari model tertutup seperti OpenAI o1, model kecil masih bisa belajar banyak dari model besar melalui interaksi bertanya jawab. Distillation tetap dianggap teknik fundamental untuk pengembangan AI yang efisien dan hemat biaya.

Sumber: https://www.quantamagazine.org/how-distillation-makes-ai-models-smaller-and-cheaper-20250718/

Pertanyaan Terkait

Apa yang dimaksud dengan teknik distilasi dalam AI?

Teknik distilasi dalam AI adalah metode untuk mengurangi ukuran model sambil mempertahankan akurasi dengan menggunakan informasi dari model yang lebih besar.

Siapa yang mengembangkan model chatbot R1?

Model chatbot R1 dikembangkan oleh perusahaan AI asal Tiongkok bernama DeepSeek.

Mengapa model BERT memerlukan distilasi?

Model BERT memerlukan distilasi karena ukurannya yang besar dan biaya operasional yang tinggi, sehingga versi yang lebih kecil seperti DistilBERT diperlukan.

Apa yang ditemukan oleh laboratorium NovaSky di UC Berkeley?

Laboratorium NovaSky di UC Berkeley menemukan bahwa distilasi sangat efektif untuk melatih model pemikiran berantai dengan biaya pelatihan yang rendah.

Mengapa distilasi menjadi penting dalam pengembangan model AI?

Distilasi menjadi penting dalam pengembangan model AI karena memungkinkan perusahaan untuk menghasilkan model yang lebih efisien dan mengurangi biaya operasional.