Rangkuman Berita: Bagaimana 'Embeddings' Mengkodekan Arti Kata — Semacam Itu

Model bahasa besar (LLM) adalah teknologi kecerdasan buatan yang menggunakan daftar panjang angka untuk mewakili kata-kata. Misalnya, model Llama 3 dari Meta menggunakan 4.096 angka untuk setiap kata, sementara GPT-3 menggunakan 12.288 angka. Daftar angka ini disebut embeddings dan membantu komputer memahami hubungan antara kata-kata. Ide dasar embeddings sudah ada sejak lama, di mana setiap kata diberi nilai numerik berdasarkan fitur-fitur pentingnya, seperti "berbulu" untuk kata "anjing". Neural network sekarang bisa membuat embeddings ini secara otomatis, meskipun hasilnya sering kali sulit dipahami oleh manusia. Embeddings bekerja dengan mengelompokkan kata-kata yang sering muncul dalam konteks yang sama, sehingga kata-kata seperti "anjing" dan "kucing" akan memiliki embeddings yang mirip. Meskipun embeddings tidak memiliki makna seperti dalam kamus, mereka sangat efektif dalam membantu model bahasa besar memprediksi kata berikutnya dalam sebuah kalimat. Misalnya, dalam kalimat "Saya menyewa pengasuh hewan untuk memberi makan ____," kata yang mungkin muncul adalah "anjing" atau "kucing," bukan "kursi." Embeddings ini membantu model bahasa besar menjadi sangat canggih dan terasa seperti memiliki kecerdasan, meskipun sebenarnya mereka hanya bekerja berdasarkan statistik.