Damıtma, büyük ve güçlü bir "öğretmen" modelin bilgisinin daha küçük ve hızlı bir "öğrenci" modele aktarılmasıdır.
Damıtma ne demek?
Öğrenci model, doğrudan veriden değil öğretmen modelin cevaplarından ve olasılık dağılımlarından öğrenir. Böylece çok daha az parametreyle öğretmene yakın başarı elde edebilir.
Ucuz ve hızlı "mini" ya da "flash" modellerin çoğu damıtma yöntemiyle üretilir.
Yakın kavramlar
Küçük Dil ModeliSLM · Small Language ModelKüçük dil modeli (SLM), genellikle birkaç milyar ya da daha az parametreye sahip, daha hızlı, ucuz ve cihaz üzerinde çalışabilen dil modelidir.Dil Modelleri & Üretken YZKuantizasyonQuantizationKuantizasyon, model ağırlıklarını daha az bitle (ör. 16 bit yerine 8 ya da 4 bit) saklayarak modeli küçültme, hızlandırma ve daha az bellekle çalıştırma yöntemidir.Altyapı, Donanım & APIÇıkarımInferenceÇıkarım, eğitimi tamamlanmış bir modelin yeni bir girdi için tahmin ya da çıktı üretmesi, yani modelin kullanılması aşamasıdır.Altyapı, Donanım & APISentetik VeriSynthetic DataSentetik veri, gerçek dünyadan toplanmak yerine yapay zekâ ya da simülasyonla üretilen ve gerçek veriye benzeyen veridir.Veri & Değerlendirme