Sonraki token tahmini, dil modellerinin eğitildiği temel görevdir: verilen metnin devamında gelmesi en olası tokeni tahmin etmek.
Sonraki Token Tahmini ne demek?
Bu basit görünen hedef, çok büyük veride uygulandığında şaşırtıcı yetenekler ortaya çıkarır: doğru tahmin yapabilmek için model dil bilgisini, gerçek dünya bilgisini ve hatta akıl yürütmeyi öğrenmek zorunda kalır.
Modelin "bildiklerini" değil "en olası devamı" üretmesi, halüsinasyonun da temel sebebidir.
Yakın kavramlar
Otoregresif ModelAutoregressive ModelOtoregresif model, çıktısını parça parça üreten ve her yeni parçayı o ana kadar ürettiklerine bakarak tahmin eden modeldir.Dil Modelleri & Üretken YZÖn EğitimPre-trainingÖn eğitim, bir modelin belirli bir göreve uyarlanmadan önce çok büyük ve genel bir veri kümesiyle eğitildiği ilk ve en maliyetli eğitim aşamasıdır.Dil Modelleri & Üretken YZHalüsinasyonHallucinationHalüsinasyon, bir yapay zekâ modelinin gerçekte var olmayan ya da yanlış bir bilgiyi kendinden emin bir dille doğruymuş gibi üretmesidir.Dil Modelleri & Üretken YZKendi Kendine Denetimli ÖğrenmeSelf-supervised LearningKendi kendine denetimli öğrenme, etiketleri insanlar yerine verinin kendisinden üreterek modeli eğiten yöntemdir.Makine Öğrenmesi & EğitimPerplexity (Şaşkınlık)PerplexityPerplexity (şaşkınlık), bir dil modelinin bir metni ne kadar iyi tahmin ettiğini gösteren ölçüdür; değer düştükçe model metne daha az "şaşırıyor" demektir.Veri & Değerlendirme