Model sunumu, eğitilmiş bir modelin kullanıcıların ya da uygulamaların isteklerine cevap verecek şekilde sunucularda çalışır hâle getirilmesi ve yönetilmesidir.
Model Sunumu ne demek?
Gelen istekleri dengelemek, GPU'ları verimli kullanmak, birden fazla isteği birlikte işlemek ve kesintisiz hizmet vermek bu işin parçalarıdır. vLLM, TGI ve Triton gibi yazılımlar açık modelleri sunmak için kullanılır; birçok bulut sağlayıcı da hazır barındırma hizmeti verir.
Yakın kavramlar
ÇıkarımInferenceÇıkarım, eğitimi tamamlanmış bir modelin yeni bir girdi için tahmin ya da çıktı üretmesi, yani modelin kullanılması aşamasıdır.Altyapı, Donanım & APIGPUGraphics Processing UnitGPU (grafik işlem birimi), binlerce küçük çekirdeğiyle aynı anda çok sayıda hesap yapabilen ve yapay zekâ modellerinin eğitimi ile çalıştırılmasında temel donanım olan işlemcidir.Altyapı, Donanım & APIAPIApplication Programming InterfaceAPI, bir yazılımın başka bir yazılımın özelliklerini belirli kurallarla kullanmasını sağlayan arayüzdür; yapay zekâ modellerini kendi uygulamana bağlamanın standart yoludur.Altyapı, Donanım & APIGecikmeLatencyGecikme, bir yapay zekâ isteği gönderildikten sonra cevabın gelmeye başlamasına ya da tamamlanmasına kadar geçen süredir.Altyapı, Donanım & API