Model bahasa besar

Bagian dari seri
Pemelajaran mesin dan Penggalian Data
Paradigma Pemelajaran terawasi Pemelajaran tak terawasi Pemelajaran mesin daring Pemelajaran mesin luring Meta-learning Pemelajaran semi terawasi Pemelajaran terawasi mandiri Pemelajaran pengukuhan Pemelajaran berbasis aturan Pemelajaran mesin kuantum
Masalah Klasifikasi Model generatif Regresi Kluster Reduksi dimensi Estimasi densitas Deteksi anomali Pembersihan data AutoML Aturan asosiasi Analisis semantik Rekayasa fitur Pemelajaran fitur
Pemelajaran diawasi (Klasifikasi • Regresi) Pohon keputusan Pemelajaran ensambel Bagging boosting Random forest k-NN Regresi linear Naive Bayes Jaringan saraf tiruan Regresi logistik Perseptron Support vector machine (SVM)
Kekelompokkan BIRCH CURE Hierarki k-means Fuzi
Reduksi dimensionalitas AKU
Jaringan saraf tiruan Pemelajaran dalam Jaringan saraf konvolusional
Diagnostik model Kurva belajar
l b s

Model bahasa besar (bahasa Inggris: large language model, biasa disingkat LLM) adalah model bahasa berskala besar yang terkenal karena kemampuannya untuk mencapai tujuan umum dalam pemahaman dan pembangkitan bahasa. LLM memperoleh kemampuan ini dengan menggunakan data dalam jumlah besar untuk mempelajari miliaran parameter selama pelatihan dan mengkonsumsi sumber daya komputasi yang besar selama pelatihan dan pengoperasiannya. ^[1] LLM merupakan jaringan syaraf tiruan (umumnya menggunakan transformer ^[2]) dan telah dilatih sebelumnya atau di-(pre)trained dengan menggunakan pemelajaran terawasi mandiri dan pemelajaran semi terawasi.

Sebagai model bahasa yang bersifat autoregresif, LLM bekerja dengan menerima teks masukan dan memprediksi token atau kata selanjutnya secara berulang. ^[3] Sampai tahun 2020, fine tuning adalah satu-satunya cara suatu model bisa beradaptasi untuk bisa menyelesaikan tugas tertentu. Adapun model yang lebih besar, seperti GPT-3, dapat di-prompt-engineer untuk mencapai hasil yang sama. ^[4] LLM dianggap memiliki pengetahuan terkait sintaksis, semantik, dan ontologi yang melekat pada korpora bahasa manusia, tetapi LLM juga memiliki semacam ketidakakuratan dan bias yang ada dalam korpora. ^[5]

Contoh terkenal, termasuk model GPT oleh OpenAI (seperti, GPT-3.5 dan GPT-4, yang digunakan dalam ChatGPT), PaLM milik Google (digunakan dalam Bard), dan LLaMA milik Meta, serta BLOOM, Ernie 3. 0 Titan, dan Claude 2.