Token maliyeti, yapay zekâ API'lerinin kullanım ücretini girdi ve çıktı token sayısına göre, genellikle 1 milyon token başına fiyatla hesaplamasıdır.
Token Maliyeti ne demek?
Çıktı tokenleri genellikle girdi tokenlerinden birkaç kat daha pahalıdır. Akıl yürütme modellerinde düşünme tokenleri de çıktı olarak ücretlendirilir. Aynı iş için modeller arasında yüz kata varan fiyat farkları olabilir.
Maliyeti düşürmenin yolları: işe uygun en küçük modeli seçmek, gereksiz bağlamı kısaltmak, prompt önbelleklemeyi ve toplu işlem API'sini kullanmak.
Örnek
Girdisi 1 milyon token başına 3 dolar, çıktısı 15 dolar olan bir modelde 2.000 tokenlik promptla 500 tokenlik cevap yaklaşık 0,0135 dolar tutar.
Yakın kavramlar
TokenToken, dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası, bir noktalama işareti ya da boşluk olabilir.Dil Modelleri & Üretken YZPrompt ÖnbelleklemePrompt CachingPrompt önbellekleme, sık tekrar eden prompt başlangıçlarının (sistem promptu, uzun belgeler) sağlayıcı tarafında saklanarak sonraki isteklerde daha ucuz ve hızlı işlenmesidir.Altyapı, Donanım & APIToplu İşlem API'siBatch APIToplu işlem API'si, çok sayıda isteğin tek seferde gönderilip birkaç saat içinde, daha düşük ücretle işlenmesini sağlayan API türüdür.Altyapı, Donanım & APIAPIApplication Programming InterfaceAPI, bir yazılımın başka bir yazılımın özelliklerini belirli kurallarla kullanmasını sağlayan arayüzdür; yapay zekâ modellerini kendi uygulamana bağlamanın standart yoludur.Altyapı, Donanım & APIAPI AnahtarıAPI KeyAPI anahtarı, bir yapay zekâ servisine yapılan isteklerin kimden geldiğini doğrulayan ve faturalandırmayı o hesaba bağlayan gizli koddur.Altyapı, Donanım & APIHız SınırıRate LimitHız sınırı, bir API'ye belirli bir sürede gönderilebilecek istek ya da token sayısına sağlayıcının koyduğu üst sınırdır.Altyapı, Donanım & API