Altyapı, Donanım & API Terimleri

A2 terim

APIApplication Programming InterfaceAPI, bir yazılımın başka bir yazılımın özelliklerini belirli kurallarla kullanmasını sağlayan arayüzdür; yapay zekâ modellerini kendi uygulamana bağlamanın standart yoludur.API AnahtarıAPI KeyAPI anahtarı, bir yapay zekâ servisine yapılan isteklerin kimden geldiğini doğrulayan ve faturalandırmayı o hesaba bağlayan gizli koddur.

C1 terim

CUDACUDA, NVIDIA GPU'larında genel amaçlı paralel hesaplama yapmayı sağlayan yazılım platformu ve programlama modelidir.

Ç1 terim

ÇıkarımInferenceÇıkarım, eğitimi tamamlanmış bir modelin yeni bir girdi için tahmin ya da çıktı üretmesi, yani modelin kullanılması aşamasıdır.

F1 terim

FLOPSFLOPS, bir işlemcinin saniyede yapabildiği kayan noktalı sayı işlemi sayısıdır; yapay zekâda hem donanım gücünü hem de bir modelin eğitimi için gereken toplam hesaplama miktarını anlatmak için kullanılır.

G2 terim

GecikmeLatencyGecikme, bir yapay zekâ isteği gönderildikten sonra cevabın gelmeye başlamasına ya da tamamlanmasına kadar geçen süredir.GPUGraphics Processing UnitGPU (grafik işlem birimi), binlerce küçük çekirdeğiyle aynı anda çok sayıda hesap yapabilen ve yapay zekâ modellerinin eğitimi ile çalıştırılmasında temel donanım olan işlemcidir.

H1 terim

Hız SınırıRate LimitHız sınırı, bir API'ye belirli bir sürede gönderilebilecek istek ya da token sayısına sağlayıcının koyduğu üst sınırdır.

K1 terim

KuantizasyonQuantizationKuantizasyon, model ağırlıklarını daha az bitle (ör. 16 bit yerine 8 ya da 4 bit) saklayarak modeli küçültme, hızlandırma ve daha az bellekle çalıştırma yöntemidir.

M1 terim

Model SunumuModel ServingModel sunumu, eğitilmiş bir modelin kullanıcıların ya da uygulamaların isteklerine cevap verecek şekilde sunucularda çalışır hâle getirilmesi ve yönetilmesidir.

N1 terim

NPUNeural Processing UnitNPU (sinirsel işlem birimi), telefon ve bilgisayarlarda yapay zekâ işlemlerini az enerjiyle cihaz üzerinde çalıştırmak için tasarlanmış özel işlemcidir.

P1 terim

Prompt ÖnbelleklemePrompt CachingPrompt önbellekleme, sık tekrar eden prompt başlangıçlarının (sistem promptu, uzun belgeler) sağlayıcı tarafında saklanarak sonraki isteklerde daha ucuz ve hızlı işlenmesidir.

T3 terim

Token MaliyetiToken PricingToken maliyeti, yapay zekâ API'lerinin kullanım ücretini girdi ve çıktı token sayısına göre, genellikle 1 milyon token başına fiyatla hesaplamasıdır.Toplu İşlem API'siBatch APIToplu işlem API'si, çok sayıda isteğin tek seferde gönderilip birkaç saat içinde, daha düşük ücretle işlenmesini sağlayan API türüdür.TPUTensor Processing UnitTPU (tensör işlem birimi), Google'ın yapay zekâ hesaplamaları için özel olarak tasarladığı ve kendi bulut altyapısında kullandığı işlemcidir.

U1 terim

Uç Yapay ZekâEdge AIUç yapay zekâ, yapay zekâ modellerinin verinin üretildiği cihazda (telefon, kamera, araç, sensör) bulut yerine yerel olarak çalıştırılmasıdır.

V1 terim

VRAM (GPU Belleği)Video RAMVRAM, GPU'nun üzerindeki hızlı bellektir; bir modelin bir ekran kartında çalışıp çalışamayacağını belirleyen en önemli etkendir.

Y1 terim

Yerel ModelLocal LLMYerel model, bulut servisine bağlanmadan doğrudan kendi bilgisayarında ya da şirket sunucunda çalıştırdığın yapay zekâ modelidir.