FLOPS, bir işlemcinin saniyede yapabildiği kayan noktalı sayı işlemi sayısıdır; yapay zekâda hem donanım gücünü hem de bir modelin eğitimi için gereken toplam hesaplama miktarını anlatmak için kullanılır.
FLOPS ne demek?
Büyük dil modellerinin eğitimi 10^24 ve üzeri işlem gerektirebilir. Ölçekleme yasaları ve bazı yasal düzenlemeler, modelleri eğitimde kullanılan toplam hesaplama miktarına göre sınıflandırır.
Yakın kavramlar
GPUGraphics Processing UnitGPU (grafik işlem birimi), binlerce küçük çekirdeğiyle aynı anda çok sayıda hesap yapabilen ve yapay zekâ modellerinin eğitimi ile çalıştırılmasında temel donanım olan işlemcidir.Altyapı, Donanım & APIÖlçekleme YasalarıScaling LawsÖlçekleme yasaları, model büyüklüğü, eğitim verisi ve işlem gücü arttıkça model başarısının nasıl ve ne kadar arttığını tanımlayan deneysel ilişkilerdir.Dil Modelleri & Üretken YZÖn EğitimPre-trainingÖn eğitim, bir modelin belirli bir göreve uyarlanmadan önce çok büyük ve genel bir veri kümesiyle eğitildiği ilk ve en maliyetli eğitim aşamasıdır.Dil Modelleri & Üretken YZ