Dil Modelleri & Üretken YZ Terimleri

A3 terim

Açık Ağırlıklı ModelOpen-weight ModelAçık ağırlıklı model, eğitilmiş parametreleri (ağırlıkları) herkesin indirip kendi bilgisayarında ya da sunucusunda çalıştırabileceği şekilde yayımlanan yapay zekâ modelidir.Akıl Yürütme ModeliReasoning ModelAkıl yürütme modeli, cevap vermeden önce problemi adımlara bölüp içsel bir düşünme süreci yürüten ve özellikle matematik, kod ve mantık işlerinde güçlü olan dil modelidir.Akışlı YanıtStreamingAkışlı yanıt, modelin cevabının tamamlanmasını beklemeden, üretilen tokenlerin anında parça parça kullanıcıya gönderilmesidir.

B3 terim

Bağlam PenceresiContext WindowBağlam penceresi, bir dil modelinin tek seferde dikkate alabildiği en fazla token miktarıdır; promptun, yüklenen belgelerin, sohbet geçmişinin ve cevabın toplamını kapsar.Bilgi Kesim TarihiKnowledge CutoffBilgi kesim tarihi, bir modelin eğitim verisinin bittiği tarihtir; model bu tarihten sonraki olaylar hakkında kendiliğinden bilgi sahibi değildir.Büyük Dil ModeliLLM · Large Language ModelBüyük dil modeli (LLM), çok büyük miktarda metinle eğitilerek dili anlamayı ve üretmeyi öğrenmiş, milyarlarca parametreli yapay zekâ modelidir.

D2 terim

Deterministik ÇıktıDeterministic OutputDeterministik çıktı, aynı girdi verildiğinde modelin her seferinde aynı cevabı üretmesidir.Durdurma DizisiStop SequenceDurdurma dizisi, model ürettiği metinde belirlenen ifadeye ulaştığında üretimi otomatik olarak sonlandıran ayardır.

F1 terim

Frekans CezasıFrequency PenaltyFrekans cezası, modelin aynı kelime ve ifadeleri tekrar tekrar kullanmasını azaltmak için tekrar eden tokenlerin olasılığını düşüren ayardır.

G1 terim

GPTGenerative Pre-trained TransformerGPT (Üretken Ön Eğitimli Transformer), OpenAI'ın geliştirdiği ve ChatGPT'ye güç veren büyük dil modeli ailesinin adıdır.

H1 terim

HalüsinasyonHallucinationHalüsinasyon, bir yapay zekâ modelinin gerçekte var olmayan ya da yanlış bir bilgiyi kendinden emin bir dille doğruymuş gibi üretmesidir.

K2 terim

Kapalı ModelClosed / Proprietary ModelKapalı model, ağırlıkları paylaşılmayan ve yalnızca geliştiren şirketin uygulaması ya da API'si üzerinden kullanılabilen yapay zekâ modelidir.Küçük Dil ModeliSLM · Small Language ModelKüçük dil modeli (SLM), genellikle birkaç milyar ya da daha az parametreye sahip, daha hızlı, ucuz ve cihaz üzerinde çalışabilen dil modelidir.

M1 terim

Maksimum TokenMax TokensMaksimum token, modelin tek bir cevapta üretebileceği en fazla token sayısını sınırlayan ayardır.

O2 terim

Ortaya Çıkan YeteneklerEmergent AbilitiesOrtaya çıkan yetenekler, küçük modellerde görülmeyen ama model belli bir büyüklüğe ulaştığında birden beliren becerilerdir.Otoregresif ModelAutoregressive ModelOtoregresif model, çıktısını parça parça üreten ve her yeni parçayı o ana kadar ürettiklerine bakarak tahmin eden modeldir.

Ö3 terim

Ölçekleme YasalarıScaling LawsÖlçekleme yasaları, model büyüklüğü, eğitim verisi ve işlem gücü arttıkça model başarısının nasıl ve ne kadar arttığını tanımlayan deneysel ilişkilerdir.Ön EğitimPre-trainingÖn eğitim, bir modelin belirli bir göreve uyarlanmadan önce çok büyük ve genel bir veri kümesiyle eğitildiği ilk ve en maliyetli eğitim aşamasıdır.ÖrneklemeSamplingÖrnekleme, dil modelinin her adımda olası tokenler arasından hangisini seçeceğine karar verme yöntemidir.

S2 terim

SıcaklıkTemperatureSıcaklık (temperature), dil modelinin cevap üretirken ne kadar rastgele ya da ne kadar tutarlı davranacağını belirleyen ayardır.Sonraki Token TahminiNext-token PredictionSonraki token tahmini, dil modellerinin eğitildiği temel görevdir: verilen metnin devamında gelmesi en olası tokeni tahmin etmek.

T7 terim

Temel ModelFoundation ModelTemel model, çok büyük ve çeşitli verilerle eğitilmiş, ardından pek çok farklı göreve uyarlanabilen genel amaçlı yapay zekâ modelidir.Test Zamanı HesaplamaTest-time ComputeTest zamanı hesaplama, modelin cevap üretirken daha fazla düşünmesi için çıkarım sırasında ek işlem gücü harcanmasıdır.TokenToken, dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası, bir noktalama işareti ya da boşluk olabilir.TokenizasyonTokenizationTokenizasyon, metnin dil modelinin işleyebileceği tokenlere bölünmesi işlemidir.Top-k ÖrneklemeTop-k SamplingTop-k örnekleme, modelin bir sonraki tokeni yalnızca en olası k aday arasından seçmesini sağlayan ayardır.Top-p ÖrneklemeTop-p (Nucleus) SamplingTop-p örnekleme, modelin bir sonraki tokeni yalnızca olasılıkları toplamı belirlenen eşiğe (p) ulaşan en olası adaylar arasından seçmesini sağlayan ayardır.TransformerTransformer, dikkat mekanizmasına dayanan ve bugünkü büyük dil modellerinin neredeyse tamamının temelini oluşturan sinir ağı mimarisidir.

U1 terim

Uzmanlar KarışımıMoE · Mixture of ExpertsUzmanlar karışımı (MoE), modelin içinde çok sayıda "uzman" alt ağ bulunan ve her token için bunlardan yalnızca birkaçının çalıştırıldığı mimaridir.