Veri Bilimi

Büyük Veri Yönetimi, Analiz ve Görselleştirme

Veri Yönetimi

Veri Yapıları ve Formatlar

  • CSV: Comma-Separated Values, tablo verisi
  • JSON: JavaScript Object Notation, hiyerarşik veri
  • XML: Extensible Markup Language
  • Parquet: Sütunsal depolama, büyük veri için
  • HDF5: Hierarchical Data Format, bilimsel veri

Veritabanları

  • İlişkisel (SQL): PostgreSQL, MySQL, SQLite
  • NoSQL: MongoDB, Cassandra, Redis
  • Graf Veritabanları: Neo4j, biyolojik ağlar için
  • SQL Komutları: SELECT, JOIN, WHERE, GROUP BY

Veri Temizleme

  • Eksik Veri: Silme, doldurma (mean, median, mode)
  • Aykırı Değerler: IQR, Z-score yöntemleri
  • Normalizasyon: Min-Max scaling, Z-score
  • Encoding: One-hot, label encoding

Veri Analizi

Python Kütüphaneleri

  • NumPy: Sayısal hesaplamalar, array işlemleri
  • Pandas: DataFrame, veri manipülasyonu
  • SciPy: Bilimsel hesaplamalar, istatistik
  • scikit-learn: Makine öğrenmesi
  • Biopython: Biyoinformatik araçları

Keşifsel Veri Analizi (EDA)

  • Tanımlayıcı İstatistikler: describe(), info()
  • Korelasyon Analizi: Pearson, Spearman
  • Dağılım Analizi: Histogram, box plot
  • Grup Analizi: groupby(), pivot_table()

Veri Görselleştirme

Görselleştirme Kütüphaneleri

  • Matplotlib: Temel grafikler, özelleştirilebilir
  • Seaborn: İstatistiksel grafikler, güzel temalar
  • Plotly: İnteraktif grafikler
  • Bokeh: Web tabanlı görselleştirme

Grafik Türleri

  • Scatter Plot: İki değişken ilişkisi
  • Line Plot: Zaman serisi, trend
  • Bar Chart: Kategorik karşılaştırma
  • Histogram: Dağılım analizi
  • Box Plot: Çeyrekler ve aykırı değerler
  • Heatmap: Korelasyon matrisi, gen ekspresyonu
  • Violin Plot: Dağılım yoğunluğu

Büyük Veri (Big Data)

Büyük Veri Teknolojileri

  • Hadoop: Dağıtık depolama ve işleme (HDFS, MapReduce)
  • Spark: Hızlı veri işleme, in-memory
  • Dask: Python için paralel hesaplama
  • Cloud Platforms: AWS, Google Cloud, Azure

Genomik Veri Analizi

  • FASTQ İşleme: Milyonlarca read, kalite kontrol
  • BAM/SAM Dosyaları: Hizalanmış diziler, GB boyutunda
  • VCF Dosyaları: Varyant verileri, filtreleme
  • Pipeline Yönetimi: Snakemake, Nextflow

Performans Optimizasyonu

  • Vektörizasyon: NumPy array işlemleri
  • Paralel İşleme: multiprocessing, joblib
  • Chunk İşleme: Büyük dosyaları parça parça okuma
  • Caching: Hesaplama sonuçlarını saklama