Akışlı yanıt, modelin cevabının tamamlanmasını beklemeden, üretilen tokenlerin anında parça parça kullanıcıya gönderilmesidir.
Akışlı Yanıt ne demek?
Sohbet asistanlarında cevabın yazılıyormuş gibi akması bu yöntemle olur. Toplam süre değişmese de kullanıcı ilk kelimeleri hemen gördüğü için bekleme çok daha kısa hissedilir.
API'lerde genellikle "stream" parametresiyle açılır; uygulamanın parça parça gelen veriyi birleştirmesi gerekir.
Yakın kavramlar
Otoregresif ModelAutoregressive ModelOtoregresif model, çıktısını parça parça üreten ve her yeni parçayı o ana kadar ürettiklerine bakarak tahmin eden modeldir.Dil Modelleri & Üretken YZGecikmeLatencyGecikme, bir yapay zekâ isteği gönderildikten sonra cevabın gelmeye başlamasına ya da tamamlanmasına kadar geçen süredir.Altyapı, Donanım & APIAPIApplication Programming InterfaceAPI, bir yazılımın başka bir yazılımın özelliklerini belirli kurallarla kullanmasını sağlayan arayüzdür; yapay zekâ modellerini kendi uygulamana bağlamanın standart yoludur.Altyapı, Donanım & API