Küçük dil modeli (SLM), genellikle birkaç milyar ya da daha az parametreye sahip, daha hızlı, ucuz ve cihaz üzerinde çalışabilen dil modelidir.
Küçük Dil Modeli ne demek?
Büyük modeller kadar geniş bilgiye sahip olmasalar da sınıflandırma, özetleme ya da belirli bir alandaki sorular gibi odaklı işlerde oldukça başarılıdırlar. Telefonda, dizüstü bilgisayarda ya da internet bağlantısı olmadan çalışabilmeleri gizlilik açısından da avantaj sağlar.
Phi, Gemma ve Llama'nın küçük sürümleri bu sınıfa örnektir.
Yakın kavramlar
Yerel ModelLocal LLMYerel model, bulut servisine bağlanmadan doğrudan kendi bilgisayarında ya da şirket sunucunda çalıştırdığın yapay zekâ modelidir.Altyapı, Donanım & APIDamıtmaKnowledge DistillationDamıtma, büyük ve güçlü bir "öğretmen" modelin bilgisinin daha küçük ve hızlı bir "öğrenci" modele aktarılmasıdır.Makine Öğrenmesi & EğitimKuantizasyonQuantizationKuantizasyon, model ağırlıklarını daha az bitle (ör. 16 bit yerine 8 ya da 4 bit) saklayarak modeli küçültme, hızlandırma ve daha az bellekle çalıştırma yöntemidir.Altyapı, Donanım & APIUç Yapay ZekâEdge AIUç yapay zekâ, yapay zekâ modellerinin verinin üretildiği cihazda (telefon, kamera, araç, sensör) bulut yerine yerel olarak çalıştırılmasıdır.Altyapı, Donanım & APIGecikmeLatencyGecikme, bir yapay zekâ isteği gönderildikten sonra cevabın gelmeye başlamasına ya da tamamlanmasına kadar geçen süredir.Altyapı, Donanım & APINPUNeural Processing UnitNPU (sinirsel işlem birimi), telefon ve bilgisayarlarda yapay zekâ işlemlerini az enerjiyle cihaz üzerinde çalıştırmak için tasarlanmış özel işlemcidir.Altyapı, Donanım & API