Kuantizasyon, model ağırlıklarını daha az bitle (ör. 16 bit yerine 8 ya da 4 bit) saklayarak modeli küçültme, hızlandırma ve daha az bellekle çalıştırma yöntemidir.
Kuantizasyon ne demek?
4 bit kuantize edilmiş bir model, orijinaline göre yaklaşık dörtte bir bellek kullanır ve çoğu iş için kalitede küçük bir kayıpla çalışır. Büyük modellerin kişisel bilgisayarlarda çalıştırılabilmesini büyük ölçüde kuantizasyon sağlar.
GGUF, GPTQ ve AWQ yaygın kuantizasyon biçimleridir; "Q4_K_M" gibi ifadeler kuantizasyon düzeyini gösterir.
Yakın kavramlar
VRAM (GPU Belleği)Video RAMVRAM, GPU'nun üzerindeki hızlı bellektir; bir modelin bir ekran kartında çalışıp çalışamayacağını belirleyen en önemli etkendir.Altyapı, Donanım & APIYerel ModelLocal LLMYerel model, bulut servisine bağlanmadan doğrudan kendi bilgisayarında ya da şirket sunucunda çalıştırdığın yapay zekâ modelidir.Altyapı, Donanım & APIDamıtmaKnowledge DistillationDamıtma, büyük ve güçlü bir "öğretmen" modelin bilgisinin daha küçük ve hızlı bir "öğrenci" modele aktarılmasıdır.Makine Öğrenmesi & EğitimLoRALow-Rank AdaptationLoRA, büyük bir modelin tüm parametrelerini değiştirmek yerine küçük ek katmanlar eğiterek çok daha ucuz ve hızlı ince ayar yapmayı sağlayan yöntemdir.Makine Öğrenmesi & EğitimAçık Ağırlıklı ModelOpen-weight ModelAçık ağırlıklı model, eğitilmiş parametreleri (ağırlıkları) herkesin indirip kendi bilgisayarında ya da sunucusunda çalıştırabileceği şekilde yayımlanan yapay zekâ modelidir.Dil Modelleri & Üretken YZÇıkarımInferenceÇıkarım, eğitimi tamamlanmış bir modelin yeni bir girdi için tahmin ya da çıktı üretmesi, yani modelin kullanılması aşamasıdır.Altyapı, Donanım & API