Stable Diffusion'da karakter kıyafeti neden değişiyor?

Selamlar, bir süredir Stable Diffusion ile çizgi roman tarzı karakter görselleri üretmeye çalışıyorum. Sorunum şu: karakterin kıyafetini promptta açıkça belirtmeme rağmen bazı görsel üretimlerinde tamamen farklı bir kıyafetle çıkıyor. Mesela 'red hoodie, blue jeans' yazmama rağmen bazen siyah ceket bazen de bambaşka bir şey giydiriyor.

Acaba seed sabitlemek bu sorunu çözer mi, yoksa negatif promptlara bir şeyler eklemek mi gerekiyor? LoRA kullanmadan sadece prompt optimizasyonuyla bunu çözebilir miyim? Deneyimi olan varsa yardımcı olursa çok sevinirim, birkaç gündür uğraşıyorum ama bir türlü istikrarlı sonuç alamıyorum.