Prompt sıkıştırma, bir promptun anlamını ve işlevini bozmadan daha az token kullanacak şekilde kısaltılmasıdır.
Prompt Sıkıştırma ne demek?
Uzun sistem promptları ve büyük belgeler her istekte yeniden gönderildiği için maliyeti ve gecikmeyi artırır. Gereksiz tekrarları çıkarmak, belgeleri özetlemek ya da yalnızca ilgili bölümleri göndermek (RAG) başlıca sıkıştırma yollarıdır.
Aşırı sıkıştırma talimatların anlamını bulanıklaştırabilir; kısaltmadan sonra çıktı kalitesini mutlaka yeniden dene.
Yakın kavramlar
TokenToken, dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası, bir noktalama işareti ya da boşluk olabilir.Dil Modelleri & Üretken YZToken MaliyetiToken PricingToken maliyeti, yapay zekâ API'lerinin kullanım ücretini girdi ve çıktı token sayısına göre, genellikle 1 milyon token başına fiyatla hesaplamasıdır.Altyapı, Donanım & APIPrompt ÖnbelleklemePrompt CachingPrompt önbellekleme, sık tekrar eden prompt başlangıçlarının (sistem promptu, uzun belgeler) sağlayıcı tarafında saklanarak sonraki isteklerde daha ucuz ve hızlı işlenmesidir.Altyapı, Donanım & APIRAGRetrieval-Augmented GenerationRAG (erişimle güçlendirilmiş üretim), bir dil modelinin cevap üretmeden önce ilgili bilgileri bir belge kaynağından bulup bu bilgilere dayanarak cevap vermesini sağlayan yöntemdir.Ajanlar, RAG & Araç Kullanımı