Parametre, bir modelin eğitim sırasında öğrendiği ve çıktısını belirleyen iç sayısal değerdir; sinir ağlarında ağırlıklar ve sapma değerlerinden oluşur.
Parametre ne demek?
Bir dil modelinin "70 milyar parametreli" olması, içinde eğitimle ayarlanmış 70 milyar sayı bulunduğu anlamına gelir. Genel olarak parametre sayısı arttıkça model daha fazla bilgi ve beceri taşıyabilir, ama çalıştırmak için daha fazla bellek ve işlem gücü gerekir.
Parametreyi, eğitimden önce insanın belirlediği hiperparametreyle karıştırmamak gerekir. Sıcaklık gibi kullanım ayarlarına da günlük dilde "parametre" denir, ama bunlar modelin öğrendiği değerler değildir.
Örnek
Llama 3 8B adındaki "8B", modelin yaklaşık 8 milyar (billion) parametresi olduğunu gösterir.
Yakın kavramlar
AğırlıkWeightAğırlık, sinir ağındaki iki nöron arasındaki bağlantının gücünü belirleyen ve eğitimle öğrenilen sayısal değerdir.Derin Öğrenme & Sinir AğlarıHiperparametreHyperparameterHiperparametre, eğitim başlamadan önce insanlar tarafından belirlenen ve eğitimin nasıl yapılacağını kontrol eden ayardır.Makine Öğrenmesi & EğitimModelAI ModelYapay zekâda model, bir öğrenme algoritmasının veriyle eğitilmesi sonucunda ortaya çıkan ve yeni girdiler için tahmin ya da çıktı üreten matematiksel yapıdır.Temel KavramlarKuantizasyonQuantizationKuantizasyon, model ağırlıklarını daha az bitle (ör. 16 bit yerine 8 ya da 4 bit) saklayarak modeli küçültme, hızlandırma ve daha az bellekle çalıştırma yöntemidir.Altyapı, Donanım & APISapma TerimiBias TermSapma terimi, bir nöronun ağırlıklı toplamına eklenen ve nöronun ne zaman aktif olacağını kaydıran öğrenilebilir sabit değerdir.Derin Öğrenme & Sinir AğlarıUzmanlar KarışımıMoE · Mixture of ExpertsUzmanlar karışımı (MoE), modelin içinde çok sayıda "uzman" alt ağ bulunan ve her token için bunlardan yalnızca birkaçının çalıştırıldığı mimaridir.Dil Modelleri & Üretken YZ