Bağlam penceresi, bir dil modelinin tek seferde dikkate alabildiği en fazla token miktarıdır; promptun, yüklenen belgelerin, sohbet geçmişinin ve cevabın toplamını kapsar.
Bağlam Penceresi ne demek?
Bağlam penceresini modelin "kısa süreli belleği" gibi düşünebilirsin. Pencere dolduğunda sohbetin en eski kısımları ya kesilir ya da özetlenir; model artık onları göremez.
Güncel modellerin bağlam pencereleri 128 bin ile 1 milyonun üzerinde token arasında değişir; bu da yüzlerce sayfalık bir belgeyi tek seferde okuyabilmek demektir. Ancak çok uzun bağlamlarda modeller ortadaki bilgileri gözden kaçırabilir.
Örnek
200 bin tokenlik bağlam penceresi, kabaca 300-400 sayfalık bir kitabın tamamını tek seferde okumaya yeter.
Prompt yazarken
Uzun bir sohbette model önceki kuralları unutmaya başlarsa, önemli talimatları yeni bir sohbette en başta tekrar ver ya da sohbeti özetletip yeniden başla.
Prompt Sihirbazı ile dene