Python ile Veri Analizi: Pandas, NumPy ve Matplotlib ile Profesyonel Analiz Rehberi

Python ile Veri Analizi: Pandas, NumPy ve Matplotlib ile Profesyonel Analiz Rehberi

Bu kapsamlı rehber, yapay zeka desteğini kullanarak Python programlama dili ile profesyonel düzeyde veri analizi yapabilmeniz, Pandas kütüphanesi ile karmaşık DataFrame işlemlerini gerçekleştirebilmeniz, NumPy ile yüksek performanslı sayısal hesaplamalar yapabilmeniz ve Matplotlib ile verilerinizi görselleştirebilmeniz için tasarlanmış detaylı prompt şablonlarını ve en iyi pratikleri bir araya getirerek sunmaktadır.

🐍 Geliştirici Notu: Bu rehberdeki kod örnekleri Python 3.8 ve üzeri versiyonlar için optimize edilmiş olup, Pandas 1.5+, NumPy 1.21+ ve Matplotlib 3.5+ versiyonları ile test edilmiştir, bu nedenle kütüphane versiyonlarınızı belirtmeniz AI nin size daha uygun çözümler üretmesine yardımcı olacaktır ve ayrıca büyük veri setleriyle çalışırken memory kullanımına özellikle dikkat etmeniz, gerektiğinde chunk processing veya dask gibi alternatif kütüphaneleri değerlendirmeniz önerilmektedir.

Pandas Kütüphanesi ile Veri Yükleme ve Temel İşlemler

DataFrame Oluşturma ve Çeşitli Kaynaklardan Veri Okuma

Pandas kütüphanesi, veri analizi süreçlerinin temelini oluşturan DataFrame yapısını sunarak, farklı formatlardaki veri kaynaklarından verileri kolayca yüklemenize, temizlemenize ve analiz etmenize olanak tanıyan güçlü bir araçtır ve bu bölümde CSV, Excel, SQL veritabanları, JSON dosyaları ve hatta API endpoint lerinden nasıl veri yükleyebileceğinizi, veri tiplerini nasıl dönüştüreceğinizi ve ilk preprocessing adımlarını nasıl gerçekleştireceğinizi detaylı olarak inceleyeceğiz.

PANDAS İLE VERİ YÜKLEME ve DATAFRAME OLUŞTURMA



Farklı kaynaklardan veri yükle ve analiz için hazırla.



VERİ KAYNAĞI BİLGİLERİ:

Kaynak tipi: [CSV / Excel / SQL / JSON / Parquet / API]

Dosya yolu veya bağlantı: [Tam yol veya URL]

Dosya boyutu: [Tahmini - küçük/orta/büyük]

Encoding: [utf-8 / latin1 / cp1254 / otomatik tespit]



VERİ YAPISI ÖZELLİKLERİ:

Satır sayısı: [Tahmini veya bilinmiyor]

Sütun sayısı: [Adet veya bilinmiyor]

Başlık satırı: [Var / Yok / Birden fazla satır]

Ayırıcı karakter: [Virgül / Noktalı virgül / Tab / Pipe / Özel]

Tarih sütunları: [Hangi sütunlar tarih içeriyor, format nedir]

Kategorik sütunlar: [Sınırlı değer alanına sahip sütunlar]



PREPROCESSING GEREKSİNİMLERİ:

- Belirli sütunları seç veya atla: [Sütun isimleri]

- Veri tipi dönüşümleri: [int, float, string, datetime, category]

- Eksik değer işleme: [Okurken atla / NaN olarak işaretle / Varsayılan değer ata]

- Index ayarlama: [Hangi sütun index olsun veya otomatik]

- İlk N satır: [Tüm veri / İlk 1000 satır test için]



MEMORY OPTİMİZASYONU:

- Chunk processing gerekli mi: [Evet büyük dosya / Hayır]

- Kategorik dönüşüm: [Tekrarlayan string değerleri category ye dönüştür]

- Downcast numeric: [int64 yerine int32, float64 yerine float32 kullan]



LÜTFEN DETAYLI OLARAK VER:

1. Gerekli import statement ları ve versiyon kontrolü

2. Veri okuma kodu (tüm parametrelerle birlikte optimize edilmiş)

3. İlk veri kalite kontrolü (head, info, describe, dtypes)

4. Memory kullanım analizi ve optimizasyon adımları

5. Eksik veri analizi (isnull, value_counts)

6. Temel istatistiksel özet (her sütun için)

7. Veri validasyon kontrolleri (duplicate check, outlier detection başlangıç)

8. Performance benchmarking (yükleme süresi, memory footprint)

Gerçek Dünya Kullanım Senaryosu ve Detaylı Örnek:

SENARYO: E-ticaret Satış Verilerini Yükleme ve Hazırlama



VERİ KAYNAĞI: 

CSV dosyası, 500MB, 2 milyon satır

Encoding: utf-8

Ayırıcı: virgül



SÜTUNLAR:

- order_id (string)

- order_date (string, format: DD.MM.YYYY HH:MM:SS)

- customer_id (integer)

- product_category (string, 15 unique değer)

- product_name (string)

- quantity (integer)

- unit_price (float)

- discount_rate (float, 0-100 arası)

- shipping_cost (float)

- payment_method (string, 5 unique değer)



PREPROCESSING:

- order_date i datetime e çevir

- category ve payment_method i kategorik tipe dönüştür

- Toplam satış tutarını hesapla (quantity * unit_price * (1-discount_rate/100))

- Eksik değerleri tespit et ve raporla



MEMORY: 

Büyük dosya, chunk processing düşünülebilir



LÜTFEN VER:

Optimized pandas kodu, memory profiling, ilk analiz

DataFrame Filtreleme ve Koşullu Seçim İşlemleri