Test zamanı hesaplama, modelin cevap üretirken daha fazla düşünmesi için çıkarım sırasında ek işlem gücü harcanmasıdır.
Test Zamanı Hesaplama ne demek?
Eskiden model başarısını artırmanın ana yolu daha büyük model ve daha çok eğitim verisiydi. Akıl yürütme modelleri ise aynı modelin cevap anında daha uzun düşünmesine izin vererek zor sorularda başarıyı artırabildiğini gösterdi.
Bazı API'lerde "düşünme bütçesi" ya da "reasoning effort" ayarıyla bu ek hesaplamanın miktarı belirlenebilir.
Yakın kavramlar
Akıl Yürütme ModeliReasoning ModelAkıl yürütme modeli, cevap vermeden önce problemi adımlara bölüp içsel bir düşünme süreci yürüten ve özellikle matematik, kod ve mantık işlerinde güçlü olan dil modelidir.Dil Modelleri & Üretken YZÇıkarımInferenceÇıkarım, eğitimi tamamlanmış bir modelin yeni bir girdi için tahmin ya da çıktı üretmesi, yani modelin kullanılması aşamasıdır.Altyapı, Donanım & APIÖlçekleme YasalarıScaling LawsÖlçekleme yasaları, model büyüklüğü, eğitim verisi ve işlem gücü arttıkça model başarısının nasıl ve ne kadar arttığını tanımlayan deneysel ilişkilerdir.Dil Modelleri & Üretken YZ