LoRA, büyük bir modelin tüm parametrelerini değiştirmek yerine küçük ek katmanlar eğiterek çok daha ucuz ve hızlı ince ayar yapmayı sağlayan yöntemdir.
LoRA ne demek?
Ana model dondurulur, yalnızca ona eklenen küçük matrisler eğitilir. Sonuçta ortaya çıkan LoRA dosyası birkaç megabayt ya da yüzlerce megabayt boyutundadır ve ana modelle birlikte kullanılır.
Görsel üretimde belirli bir karakteri, stili ya da ürünü modele öğretmek için çok yaygındır; dil modellerinde de uygun maliyetli ince ayarın standart yoludur. QLoRA, aynı işi kuantize edilmiş modelle yaparak belleği daha da azaltır.
Yakın kavramlar
İnce AyarFine-tuningİnce ayar, önceden eğitilmiş bir modelin belirli bir görev, alan ya da üslup için daha küçük ve özel bir veri setiyle yeniden eğitilmesidir.Makine Öğrenmesi & EğitimKuantizasyonQuantizationKuantizasyon, model ağırlıklarını daha az bitle (ör. 16 bit yerine 8 ya da 4 bit) saklayarak modeli küçültme, hızlandırma ve daha az bellekle çalıştırma yöntemidir.Altyapı, Donanım & APIStable DiffusionStable Diffusion, metinden görsel üreten, açık ağırlıklı olarak yayımlanan ve kişisel bilgisayarda da çalıştırılabilen difüzyon tabanlı model ailesidir.Görsel, Video & Ses ÜretimiKarakter TutarlılığıCharacter ConsistencyKarakter tutarlılığı, aynı kişinin ya da karakterin farklı görsellerde ve sahnelerde aynı yüz, kıyafet ve özelliklerle üretilebilmesidir.Görsel, Video & Ses ÜretimiStil ReferansıStyle ReferenceStil referansı, üretilecek görselin renk paletini, dokusunu ve sanatsal tarzını örnek bir görselden alması için kullanılan özelliktir.Görsel, Video & Ses ÜretimiYıkıcı UnutmaCatastrophic ForgettingYıkıcı unutma, bir modelin yeni bir görev için eğitilirken daha önce öğrendiği becerileri ciddi ölçüde kaybetmesidir.Makine Öğrenmesi & Eğitim