Otoregresif model, çıktısını parça parça üreten ve her yeni parçayı o ana kadar ürettiklerine bakarak tahmin eden modeldir.
Otoregresif Model ne demek?
GPT gibi dil modelleri otoregresiftir: önce ilk tokeni üretir, sonra o tokeni de girdiye ekleyerek ikinciyi tahmin eder ve bu böyle devam eder. Cevapların ekranda kelime kelime akması bundandır.
Bu yapı, modelin bir kez yanlış bir yola girdiğinde geri dönüp düzeltmesini zorlaştırır; düşünce zinciri ve akıl yürütme modelleri bu sorunu hafifletmeye çalışır.
Yakın kavramlar
TokenToken, dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası, bir noktalama işareti ya da boşluk olabilir.Dil Modelleri & Üretken YZAkışlı YanıtStreamingAkışlı yanıt, modelin cevabının tamamlanmasını beklemeden, üretilen tokenlerin anında parça parça kullanıcıya gönderilmesidir.Dil Modelleri & Üretken YZGPTGenerative Pre-trained TransformerGPT (Üretken Ön Eğitimli Transformer), OpenAI'ın geliştirdiği ve ChatGPT'ye güç veren büyük dil modeli ailesinin adıdır.Dil Modelleri & Üretken YZSonraki Token TahminiNext-token PredictionSonraki token tahmini, dil modellerinin eğitildiği temel görevdir: verilen metnin devamında gelmesi en olası tokeni tahmin etmek.Dil Modelleri & Üretken YZ