Hız sınırı, bir API'ye belirli bir sürede gönderilebilecek istek ya da token sayısına sağlayıcının koyduğu üst sınırdır.
Hız Sınırı ne demek?
Genellikle dakikadaki istek (RPM) ve dakikadaki token (TPM) sayısıyla tanımlanır; sınır aşıldığında API "429 Too Many Requests" hatası döner. Hesabın kullanım geçmişi ve ödeme düzeyi arttıkça sınırlar genellikle yükselir.
Uygulamalar bu hatayı, bekleyip tekrar deneme (exponential backoff) ve istekleri kuyruğa alma ile yönetir.
Yakın kavramlar
APIApplication Programming InterfaceAPI, bir yazılımın başka bir yazılımın özelliklerini belirli kurallarla kullanmasını sağlayan arayüzdür; yapay zekâ modellerini kendi uygulamana bağlamanın standart yoludur.Altyapı, Donanım & APIToplu İşlem API'siBatch APIToplu işlem API'si, çok sayıda isteğin tek seferde gönderilip birkaç saat içinde, daha düşük ücretle işlenmesini sağlayan API türüdür.Altyapı, Donanım & APIToken MaliyetiToken PricingToken maliyeti, yapay zekâ API'lerinin kullanım ücretini girdi ve çıktı token sayısına göre, genellikle 1 milyon token başına fiyatla hesaplamasıdır.Altyapı, Donanım & API