Gecikme, bir yapay zekâ isteği gönderildikten sonra cevabın gelmeye başlamasına ya da tamamlanmasına kadar geçen süredir.
Gecikme ne demek?
Sohbet uygulamalarında genellikle ilk tokenin gelme süresi (TTFT) ve saniyede üretilen token sayısı (verim) birlikte ölçülür. Büyük modeller, uzun promptlar, akıl yürütme süresi ve yoğun sunucu trafiği gecikmeyi artırır.
Sesli asistanlar ve gerçek zamanlı uygulamalarda düşük gecikme, model kalitesinden bile önemli olabilir.
Yakın kavramlar
Akışlı YanıtStreamingAkışlı yanıt, modelin cevabının tamamlanmasını beklemeden, üretilen tokenlerin anında parça parça kullanıcıya gönderilmesidir.Dil Modelleri & Üretken YZÇıkarımInferenceÇıkarım, eğitimi tamamlanmış bir modelin yeni bir girdi için tahmin ya da çıktı üretmesi, yani modelin kullanılması aşamasıdır.Altyapı, Donanım & APIPrompt ÖnbelleklemePrompt CachingPrompt önbellekleme, sık tekrar eden prompt başlangıçlarının (sistem promptu, uzun belgeler) sağlayıcı tarafında saklanarak sonraki isteklerde daha ucuz ve hızlı işlenmesidir.Altyapı, Donanım & APIKüçük Dil ModeliSLM · Small Language ModelKüçük dil modeli (SLM), genellikle birkaç milyar ya da daha az parametreye sahip, daha hızlı, ucuz ve cihaz üzerinde çalışabilen dil modelidir.Dil Modelleri & Üretken YZModel SunumuModel ServingModel sunumu, eğitilmiş bir modelin kullanıcıların ya da uygulamaların isteklerine cevap verecek şekilde sunucularda çalışır hâle getirilmesi ve yönetilmesidir.Altyapı, Donanım & API