Temel PySpark Eğitimi Yeni Dönem

Bu program, büyük veri işleme ve analizinde endüstri standardı haline gelen Apache Spark'ın Python API'si olan PySpark'ın temel ve orta düzey kullanımını kapsamlı şekilde öğretmeyi hedefler. Katılımcılar, dağıtık veri işleme mantığını, Spark mimarisini ve PySpark'ın DataFrame API'sini kullanarak veri dönüşümleri, analizler ve makine öğrenmesi iş akışlarını uygulamalı olarak deneyimleyeceklerdir. Eğitim, veri mühendisleri, veri analistleri ve büyük veri alanında kariyer hedefleyenler için tasarlanmış olup, gerçek dünya veri setleri üzerinde çalışmayı içerir.

• Büyük veri ve dağıtık hesaplama nedir?
• Apache Spark mimarisi (Driver, Executor, Cluster Manager)
• PySpark kurulumu ve ortam ayarları (Local mode, Databricks, Google Colab)
• SparkSession oluşturma ve basit işlemler

• DataFrame oluşturma (CSV, JSON, Parquet okuma/yazma)
• Temel operasyonlar: select(), filter(), groupBy(), agg()
• Sütun işlemleri ve UDF (User Defined Functions) yazma
• Veri tipleri (Schema tanımlama, type casting)

• Eksik veri yönetimi (fillna(), dropna())
• Pivot tablolar ve window fonksiyonları
• Joins (inner, outer, cross join) ve veri birleştirme
• Performans optimizasyonu (caching, partition ayarları)

• DataFrame’leri SQL tablosu olarak kaydetme
• Kompleks SQL sorguları çalıştırma
• Performans ipuçları ve query plan analizi

• MLlib kütüphanesine giriş
• Özellik mühendisliği (StringIndexer, VectorAssembler)
• Basit regresyon ve sınıflandırma modelleri (Linear Regression, Decision Tree)
• Model değerlendirme (RMSE, Accuracy) 

• Cluster’a bağlanma (Standalone, YARN, Kubernetes)
• Kaynak yönetimi ve konfigürasyon ayarları
• AWS EMR veya Databricks üzerinde uygulama