Yıkıcı unutma, bir modelin yeni bir görev için eğitilirken daha önce öğrendiği becerileri ciddi ölçüde kaybetmesidir.
Yıkıcı Unutma ne demek?
Bir dil modeline yalnızca tıbbi metinlerle yoğun ince ayar yapılırsa, genel sohbet ya da kod yazma becerisi bozulabilir. Eski verilerden örnekleri eğitime karıştırmak ve LoRA gibi az parametre değiştiren yöntemler bu riski azaltır.
Yakın kavramlar
İnce AyarFine-tuningİnce ayar, önceden eğitilmiş bir modelin belirli bir görev, alan ya da üslup için daha küçük ve özel bir veri setiyle yeniden eğitilmesidir.Makine Öğrenmesi & EğitimLoRALow-Rank AdaptationLoRA, büyük bir modelin tüm parametrelerini değiştirmek yerine küçük ek katmanlar eğiterek çok daha ucuz ve hızlı ince ayar yapmayı sağlayan yöntemdir.Makine Öğrenmesi & EğitimTransfer ÖğrenmeTransfer LearningTransfer öğrenme, bir görev için öğrenilen bilginin başka ama ilişkili bir görevi öğrenmek için yeniden kullanılmasıdır.Makine Öğrenmesi & Eğitim