Uzmanlar karışımı (MoE), modelin içinde çok sayıda "uzman" alt ağ bulunan ve her token için bunlardan yalnızca birkaçının çalıştırıldığı mimaridir.
Uzmanlar Karışımı ne demek?
Bir yönlendirici (router), gelen her token için en uygun uzmanları seçer. Böylece model toplamda çok fazla parametreye sahip olsa da her adımda bunların küçük bir kısmı çalıştığı için daha hızlı ve ucuz çalışır.
Mixtral, DeepSeek ve birçok güncel büyük model bu mimariyi kullanır.
Yakın kavramlar
TransformerTransformer, dikkat mekanizmasına dayanan ve bugünkü büyük dil modellerinin neredeyse tamamının temelini oluşturan sinir ağı mimarisidir.Dil Modelleri & Üretken YZParametreParameterParametre, bir modelin eğitim sırasında öğrendiği ve çıktısını belirleyen iç sayısal değerdir; sinir ağlarında ağırlıklar ve sapma değerlerinden oluşur.Temel KavramlarÇıkarımInferenceÇıkarım, eğitimi tamamlanmış bir modelin yeni bir girdi için tahmin ya da çıktı üretmesi, yani modelin kullanılması aşamasıdır.Altyapı, Donanım & API