Çıkarım, eğitimi tamamlanmış bir modelin yeni bir girdi için tahmin ya da çıktı üretmesi, yani modelin kullanılması aşamasıdır.
Çıkarım ne demek?
Eğitim bir kez yapılan, çok pahalı bir süreçtir; çıkarım ise kullanıcı her soru sorduğunda tekrar tekrar gerçekleşir. Bu yüzden yaygın kullanılan modellerde toplam maliyetin büyük kısmı çıkarımdan gelir. Kuantizasyon, damıtma, önbellekleme ve özel donanımlar çıkarımı hızlandırıp ucuzlatmanın yollarıdır.
Yakın kavramlar
GecikmeLatencyGecikme, bir yapay zekâ isteği gönderildikten sonra cevabın gelmeye başlamasına ya da tamamlanmasına kadar geçen süredir.Altyapı, Donanım & APIKuantizasyonQuantizationKuantizasyon, model ağırlıklarını daha az bitle (ör. 16 bit yerine 8 ya da 4 bit) saklayarak modeli küçültme, hızlandırma ve daha az bellekle çalıştırma yöntemidir.Altyapı, Donanım & APIPrompt ÖnbelleklemePrompt CachingPrompt önbellekleme, sık tekrar eden prompt başlangıçlarının (sistem promptu, uzun belgeler) sağlayıcı tarafında saklanarak sonraki isteklerde daha ucuz ve hızlı işlenmesidir.Altyapı, Donanım & APITest Zamanı HesaplamaTest-time ComputeTest zamanı hesaplama, modelin cevap üretirken daha fazla düşünmesi için çıkarım sırasında ek işlem gücü harcanmasıdır.Dil Modelleri & Üretken YZDamıtmaKnowledge DistillationDamıtma, büyük ve güçlü bir "öğretmen" modelin bilgisinin daha küçük ve hızlı bir "öğrenci" modele aktarılmasıdır.Makine Öğrenmesi & EğitimGPUGraphics Processing UnitGPU (grafik işlem birimi), binlerce küçük çekirdeğiyle aynı anda çok sayıda hesap yapabilen ve yapay zekâ modellerinin eğitimi ile çalıştırılmasında temel donanım olan işlemcidir.Altyapı, Donanım & API