Uç yapay zekâ, yapay zekâ modellerinin verinin üretildiği cihazda (telefon, kamera, araç, sensör) bulut yerine yerel olarak çalıştırılmasıdır.
Uç Yapay Zekâ ne demek?
Akıllı telefonlardaki yüz tanıma, araçlardaki sürücü destek sistemleri ve fabrikalardaki görüntü tabanlı kalite kontrol uç yapay zekâya örnektir. Gecikme çok düşer, internet bağlantısına ihtiyaç kalmaz ve veriler cihazda kalır.
Yakın kavramlar
NPUNeural Processing UnitNPU (sinirsel işlem birimi), telefon ve bilgisayarlarda yapay zekâ işlemlerini az enerjiyle cihaz üzerinde çalıştırmak için tasarlanmış özel işlemcidir.Altyapı, Donanım & APIKüçük Dil ModeliSLM · Small Language ModelKüçük dil modeli (SLM), genellikle birkaç milyar ya da daha az parametreye sahip, daha hızlı, ucuz ve cihaz üzerinde çalışabilen dil modelidir.Dil Modelleri & Üretken YZYerel ModelLocal LLMYerel model, bulut servisine bağlanmadan doğrudan kendi bilgisayarında ya da şirket sunucunda çalıştırdığın yapay zekâ modelidir.Altyapı, Donanım & APIKuantizasyonQuantizationKuantizasyon, model ağırlıklarını daha az bitle (ör. 16 bit yerine 8 ya da 4 bit) saklayarak modeli küçültme, hızlandırma ve daha az bellekle çalıştırma yöntemidir.Altyapı, Donanım & API