Prompt önbellekleme, sık tekrar eden prompt başlangıçlarının (sistem promptu, uzun belgeler) sağlayıcı tarafında saklanarak sonraki isteklerde daha ucuz ve hızlı işlenmesidir.
Prompt Önbellekleme ne demek?
Aynı uzun belge üzerinde onlarca soru soruluyorsa, belgenin her seferinde baştan işlenmesi gerekmez; önbellekten okunan tokenler normal fiyatın küçük bir kısmına ücretlendirilir ve cevap daha hızlı gelir.
Önbellekten yararlanmak için promptun değişmeyen kısımları başa, değişen kısımları (kullanıcı sorusu gibi) sona konmalıdır.
Prompt yazarken
Uzun sistem promptunu ve sabit belgeleri promptun en başına koy, tarih ve kullanıcı adı gibi her istekte değişen bilgileri en sona taşı; böylece önbellek her seferinde eşleşir.
Prompt Sihirbazı ile deneYakın kavramlar
Token MaliyetiToken PricingToken maliyeti, yapay zekâ API'lerinin kullanım ücretini girdi ve çıktı token sayısına göre, genellikle 1 milyon token başına fiyatla hesaplamasıdır.Altyapı, Donanım & APIGecikmeLatencyGecikme, bir yapay zekâ isteği gönderildikten sonra cevabın gelmeye başlamasına ya da tamamlanmasına kadar geçen süredir.Altyapı, Donanım & APIBağlam PenceresiContext WindowBağlam penceresi, bir dil modelinin tek seferde dikkate alabildiği en fazla token miktarıdır; promptun, yüklenen belgelerin, sohbet geçmişinin ve cevabın toplamını kapsar.Dil Modelleri & Üretken YZPrompt SıkıştırmaPrompt CompressionPrompt sıkıştırma, bir promptun anlamını ve işlevini bozmadan daha az token kullanacak şekilde kısaltılmasıdır.Prompt MühendisliğiÇıkarımInferenceÇıkarım, eğitimi tamamlanmış bir modelin yeni bir girdi için tahmin ya da çıktı üretmesi, yani modelin kullanılması aşamasıdır.Altyapı, Donanım & API