VRAM, GPU'nun üzerindeki hızlı bellektir; bir modelin bir ekran kartında çalışıp çalışamayacağını belirleyen en önemli etkendir.
VRAM (GPU Belleği) ne demek?
Model parametrelerinin tamamı ve çalışma sırasındaki ara veriler VRAM'e sığmalıdır. Kabaca, 16 bit hassasiyette her 1 milyar parametre yaklaşık 2 GB VRAM ister; 7 milyar parametreli bir model için 14 GB civarı gerekir. Kuantizasyon bu ihtiyacı yarıya ya da dörtte birine indirebilir.
Uzun bağlam pencereleri de ek bellek tüketir.
Yakın kavramlar
GPUGraphics Processing UnitGPU (grafik işlem birimi), binlerce küçük çekirdeğiyle aynı anda çok sayıda hesap yapabilen ve yapay zekâ modellerinin eğitimi ile çalıştırılmasında temel donanım olan işlemcidir.Altyapı, Donanım & APIKuantizasyonQuantizationKuantizasyon, model ağırlıklarını daha az bitle (ör. 16 bit yerine 8 ya da 4 bit) saklayarak modeli küçültme, hızlandırma ve daha az bellekle çalıştırma yöntemidir.Altyapı, Donanım & APIYerel ModelLocal LLMYerel model, bulut servisine bağlanmadan doğrudan kendi bilgisayarında ya da şirket sunucunda çalıştırdığın yapay zekâ modelidir.Altyapı, Donanım & APIParametreParameterParametre, bir modelin eğitim sırasında öğrendiği ve çıktısını belirleyen iç sayısal değerdir; sinir ağlarında ağırlıklar ve sapma değerlerinden oluşur.Temel Kavramlar