Veri temizleme, veri setindeki hatalı, eksik, tekrar eden ya da tutarsız kayıtları bulup düzeltme veya çıkarma işlemidir.
Veri Temizleme ne demek?
Aynı müşterinin üç farklı yazımla kaydedilmesi, boş bırakılmış alanlar ya da yanlış biçimdeki tarihler modelin yanlış şeyler öğrenmesine yol açar. Veri bilimcilerin zamanının büyük kısmı bu aşamada geçer; "çöp girerse çöp çıkar" ilkesi burada geçerlidir.
Dil modelleri, dağınık metinleri standart bir biçime getirmek gibi temizlik işlerinde de yardımcı olabilir.
Yakın kavramlar
Aykırı DeğerOutlierAykırı değer, veri setindeki diğer gözlemlerden belirgin biçimde farklı olan, olağan dışı kayıttır.Veri & DeğerlendirmeVeri SetiDatasetVeri seti, bir modeli eğitmek, doğrulamak ya da test etmek için toplanmış ve düzenlenmiş örneklerin bütünüdür.Temel KavramlarÖzellik MühendisliğiFeature EngineeringÖzellik mühendisliği, ham veriden modelin daha iyi öğrenebileceği yeni ve anlamlı özellikler üretme işidir.Makine Öğrenmesi & EğitimVeri ZehirlemeData PoisoningVeri zehirleme, bir modelin eğitim verisine kasıtlı olarak hatalı ya da kötü niyetli örnekler ekleyerek modelin davranışını bozma saldırısıdır.Güvenlik, Etik & Hukuk