Ölçekleme yasaları, model büyüklüğü, eğitim verisi ve işlem gücü arttıkça model başarısının nasıl ve ne kadar arttığını tanımlayan deneysel ilişkilerdir.
Ölçekleme Yasaları ne demek?
Araştırmalar, bu üç unsur birlikte artırıldığında modelin hata oranının oldukça öngörülebilir biçimde düştüğünü gösterdi. Bu sayede şirketler, dev bir eğitim başlatmadan önce sonucun ne kadar iyi olacağını tahmin edebiliyor.
Veri ve enerji maliyetleri arttıkça, yalnızca büyütmek yerine test zamanı hesaplama ve daha verimli mimariler gibi yeni yollar da önem kazandı.
Yakın kavramlar
Ortaya Çıkan YeteneklerEmergent AbilitiesOrtaya çıkan yetenekler, küçük modellerde görülmeyen ama model belli bir büyüklüğe ulaştığında birden beliren becerilerdir.Dil Modelleri & Üretken YZTest Zamanı HesaplamaTest-time ComputeTest zamanı hesaplama, modelin cevap üretirken daha fazla düşünmesi için çıkarım sırasında ek işlem gücü harcanmasıdır.Dil Modelleri & Üretken YZÖn EğitimPre-trainingÖn eğitim, bir modelin belirli bir göreve uyarlanmadan önce çok büyük ve genel bir veri kümesiyle eğitildiği ilk ve en maliyetli eğitim aşamasıdır.Dil Modelleri & Üretken YZFLOPSFLOPS, bir işlemcinin saniyede yapabildiği kayan noktalı sayı işlemi sayısıdır; yapay zekâda hem donanım gücünü hem de bir modelin eğitimi için gereken toplam hesaplama miktarını anlatmak için kullanılır.Altyapı, Donanım & API