Maksimum token, modelin tek bir cevapta üretebileceği en fazla token sayısını sınırlayan ayardır.
Maksimum Token ne demek?
Bu sınır dolduğunda model cümlenin ortasında bile olsa yazmayı keser. Çok düşük tutulursa cevaplar yarım kalır; gereğinden yüksek tutulursa maliyet ve bekleme süresi artabilir.
Maksimum token yalnızca çıktıyı sınırlar; girdinin ve çıktının toplamı ise bağlam penceresini aşamaz.
Prompt yazarken
Cevabın uzunluğunu yalnızca bu ayarla değil, promptta da belirt: "En fazla 150 kelime" ya da "5 madde" gibi bir sınır, yarım kalmış cevaplardan çok daha iyi sonuç verir.
Prompt Sihirbazı ile deneYakın kavramlar
TokenToken, dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası, bir noktalama işareti ya da boşluk olabilir.Dil Modelleri & Üretken YZBağlam PenceresiContext WindowBağlam penceresi, bir dil modelinin tek seferde dikkate alabildiği en fazla token miktarıdır; promptun, yüklenen belgelerin, sohbet geçmişinin ve cevabın toplamını kapsar.Dil Modelleri & Üretken YZDurdurma DizisiStop SequenceDurdurma dizisi, model ürettiği metinde belirlenen ifadeye ulaştığında üretimi otomatik olarak sonlandıran ayardır.Dil Modelleri & Üretken YZ