Yerel model, bulut servisine bağlanmadan doğrudan kendi bilgisayarında ya da şirket sunucunda çalıştırdığın yapay zekâ modelidir.
Yerel Model ne demek?
Ollama, LM Studio ve llama.cpp gibi araçlar açık ağırlıklı modelleri birkaç tıklamayla çalıştırmayı sağlar. Veriler cihazdan çıkmadığı için gizlilik avantajı vardır, internet gerekmez ve kullanım başına ücret ödenmez.
Buna karşılık kişisel bilgisayarda çalışabilen modeller en güçlü bulut modellerinin gerisinde kalır; performans büyük ölçüde GPU ve VRAM'e bağlıdır.
Yakın kavramlar
Açık Ağırlıklı ModelOpen-weight ModelAçık ağırlıklı model, eğitilmiş parametreleri (ağırlıkları) herkesin indirip kendi bilgisayarında ya da sunucusunda çalıştırabileceği şekilde yayımlanan yapay zekâ modelidir.Dil Modelleri & Üretken YZKuantizasyonQuantizationKuantizasyon, model ağırlıklarını daha az bitle (ör. 16 bit yerine 8 ya da 4 bit) saklayarak modeli küçültme, hızlandırma ve daha az bellekle çalıştırma yöntemidir.Altyapı, Donanım & APIVRAM (GPU Belleği)Video RAMVRAM, GPU'nun üzerindeki hızlı bellektir; bir modelin bir ekran kartında çalışıp çalışamayacağını belirleyen en önemli etkendir.Altyapı, Donanım & APIVeri GizliliğiData PrivacyVeri gizliliği, yapay zekâ araçlarına girilen bilgilerin nasıl saklandığı, kimlerin erişebildiği ve modelin eğitiminde kullanılıp kullanılmadığıyla ilgili güvencelerin bütünüdür.Güvenlik, Etik & HukukKüçük Dil ModeliSLM · Small Language ModelKüçük dil modeli (SLM), genellikle birkaç milyar ya da daha az parametreye sahip, daha hızlı, ucuz ve cihaz üzerinde çalışabilen dil modelidir.Dil Modelleri & Üretken YZUç Yapay ZekâEdge AIUç yapay zekâ, yapay zekâ modellerinin verinin üretildiği cihazda (telefon, kamera, araç, sensör) bulut yerine yerel olarak çalıştırılmasıdır.Altyapı, Donanım & API