Courtesy of SCMP
Ikhtisar 15 Detik
- Metode 'native sparse attention' dapat meningkatkan efisiensi pemrosesan teks panjang.
- DeepSeek berfokus pada inovasi algoritma dan perangkat keras untuk meningkatkan kinerja AI.
- Model R1 yang open-source menawarkan alternatif biaya rendah dalam pengembangan model AI.
Perusahaan AI asal Tiongkok, DeepSeek, telah meluncurkan teknologi baru yang disebut "native sparse attention" (NSA) yang dapat membuat model bahasa generasi berikutnya memproses teks panjang dengan lebih cepat dan murah. Metode NSA ini melatih AI untuk fokus pada informasi penting dan melewatkan kata-kata yang tidak perlu, sehingga dapat mempercepat pemrosesan teks panjang hingga 11 kali lipat. Dengan kombinasi inovasi algoritma dan perangkat keras yang lebih baik, NSA meningkatkan efisiensi tanpa mengorbankan kinerja.
Teknik ini dapat membantu AI dalam menyelesaikan masalah kompleks, menulis program besar, dan melacak percakapan panjang. DeepSeek menyatakan bahwa desain yang dioptimalkan untuk perangkat keras modern memungkinkan NSA untuk mempercepat proses inferensi dan mengurangi biaya pelatihan awal, tanpa mengurangi kinerja. Ini adalah langkah penting dalam pengembangan model AI yang lebih efisien dan efektif.