Data Science Uzmanlığı Sertifika Programı 5.Dönem ( Uzaktan Eğitim )

1. Veri & veri bilimi Nedir 

2. Verinin yapısal hale gelmesi ve büyük veri süreci 

3. Veri işlemenin önemi ve gerçek dünyadaki örnekleri 

4. Veri yapıları 

5. Bulut Bilişim Sistemleri ve Bileşenleri 

6. Saklama Yöntemleri 

7. Analiz Yöntemleri 

8. Gerçek Zamanlı Veri Analitiği 

9. Veri Zenginleştirme Süreçleri 

10. Veri Ambarı Tasarımı 

11. Veri Havuzu (Gölü) Tasarımı 

12. Raporlama Sistemleri 

13. Self Servis Yapılar 

14. Veri Görselleştirme 

15. Cognitive Servisler 

16. İlişkisel yapıların sorgulanması

17. ETL Paket tasarımları 

18. Veri görselleştirme örnekleri

Şirketler geleceği açısından büyük ve zorlu bir dönüşüm içerisindeler. Dijitalleşmenin getirdiği baskı, yeni yeteneklerin şirkete adaptasyonu ve tüm organizasyonun veri ile yönetilir bir kültür haline getirilmesi çoğu şirket için ana planlardan birisi. En çok yatırım yapılan alanların başında olan veri bilimi sahip olunan veriler üzerinden organizasyonlar için en verimli çözüm yöntemlerinin geliştirileceği departmanlar olmakla birlikte, bu alanda çalışacak kişilerin uçtan uca veri analizi, yönetimi, modellemesi konularında söz sahibi olması beklenmektedir. Temel kavramlar ile başlayacak olan ders içeriğinde veri saklama yöntemleri, bulut bilişim, veri ambarı mimarisi, veri zenginleştirme ve temizleme süreçleri gibi modelleme fazına gelene kadar verinin geçirdiği evrimsel süreçler anlatılmaktadır. Yapısal olmayan veri setleri üzerinde örnek veri zenginleştirme süreçlerinin yanı sıra yapısal veriler üzerinde optimum sorgulama yapılarının oluşturulması ve veri görselleştirilmesi ile birlikte modelleme fazına kadar üzerinden geçilmesi gereken iş adımlarının aktarılması planlanmaktadır.

1. PANDAS temel veri yapıları (seri ve dataframe)

2. Seri ve DataFrame’ler üzerinde indeksleme, seçme ve filtreleme uygulamaları

3. Case study: Chipotle sipariş veri seti analizleri

4. DataFrame yapılarına fonksiyon uygulama (apply ve map)

5. Veri aritmetiği ve hizalandırması

6. DataFrame ile Seri’ler arasında operasyonlar

7. Betimleyici istatistik (descriptive statistics)

8. Eksik verileri yönetme teknikleri

9. Hiyerarşik indeksleme

10. Case study: Norveç yeni otomobil satış verisi analizleri

11. PANDAS Veri okuma ve yazma fonksiyonları

12. Veritabanı stili veri birleştirme teknikleri

13. DataFrame’ler üzerine dizi (string) uygulamaları

14. Veri birleştirme ve gruplandırması (aggregation and groupby)

15. Pivot tablo oluşturma

16. Case study: San Francisco Devlet memur ücretleri veri seti analizleri

17. Zaman serileri

18. Saat dilimi yönetimi

19. Yeniden örnekleme (Resampling) uygulamaları

20. Case study: İstanbul’un yüz yıllık sıcaklık verisi üzerinde analizler

21. Zaman serileri grafiklendirmesi

22. Case study: Saatlik hava durumu verisi üzerinde haftalık ve günlük analizler

23. Indeks yeniden şekillendirme, pivot ve melt uygulamaları

24. Case study: “311 service requests from NYC open data” verisi üzerinde uygulamalar

Eğitim, katılımcıları yapılandırılmış veriler üzerinde kullanılan en temel python kütüphanesi olan PANDAS kütüphanesi uzmanlığı vermeyi hedeflemektedir. Veri analistleri ile yapılan anketlerde veri temizliği, dönüşümü ve entegrasyonu gibi işlemlerin vakitlerinin %30-40 civarının aldığı görülmüştür. PANDAS kütüphanesi bahsi geçen veri işleme tekniklerini en kolay ve hızlı bir şekilde gerçekleştirmeyi sağlayan çok temel bir python kütüphanesidir. Akademiden iş dünyasına kadar çok farklı alanlarda kullanılmaktadır. Bu eğitim kapsamında PANDAS kütüphanesindeki temel veri yapıları ve önemli fonksiyonlar tanıtılıp güncel veri setleri üzerinde analizler yapılacaktır.

1. Numpy kütüphanesinde dizi (array) yapıları oluşturma ve veri tipleri yönetimi

2. Temel indeksleme ve dilimleme işlemleri

3. Matematiksel ve istatiksel işlemler

4. Kıyaslama, maskeleme ve boole mantık

5. Doğrudan ve dolayı sıralama

6. Matris operasyonları (lineer cebir)  

Numpy matrissel vektörel işlemlerin hızlı ve efektif bir şekilde gerçekleştiren çoğunlukla C programlama dilinde yazılmış bir kütüphanedir. C dilinde yazıldığı için vektörler üzerine yapacağımız operasyonları çok hızlı bir şekilde yapabilmektedir. Python ekosisteminde hesaplamaya dayalı çoğu kütüphane Numpy kütüphanesi üzerine kuruludur. Bu derste Numpy kütüphanesinin temel ve ileri özellikleri uygulamalı olarak gösterilecektir.

1. Görselleştirilecek veriye uygun figure/grafik çeşitlerinin seçilmesi

2. Matplotlib genel konseptleri ve pratikte tercih edilen uygulamalar

3. PyPlot modülü ve başlıca grafiklerin/figürlerin oluşturulması

       A. Çizgi grafikleri (Line Plots)

       B. Saçılım Diagramları (Scatter Plots)

       C. Histogramlar

       D. Sütun (Bar) ve pasta (Pie) Grafikleri

       E. Logaritmik Diagramlar

       F. 3 boyutlu diagramlar (Surface Plots)

4. Aynı figür içerisinde birden fazla grafikle çalışmak

5. Oluşturulan figurlerin özelleştirilmesi

       A. Grafiklerin işaret ve renklerinin değiştirilmesi

       B. Başlık, alt başlık oluşturma,

       C. Alt yazı (Legend) oluşturma

       D. Renk haritasi (colormap) ile çalışma

6. Matplotlib tabanlı diğer figür oluşturma araçlarının tanıtımı

7. Plotly ile interaktif ve oynatılabilir figür oluşturma

Kullanılacak Veri Seti:
Dünya Bankası Gayri Safi Milli Hasıla (GDP) Veri Seti

Veri görselleştirme gerek keşifsel veri analizi yapmada, gerekse elde ettiğimiz sonuçları karşımızdakilere aktarmada çok etkili bir yöntem olarak karşımıza çıkmaktadır. Ham veri üzerinde gözden kaçabilecek trendleri, paternleri ve ikili ilişkileri görsel yöntemler sayesinde sağlıklı bir şekilde gözlemleyebilmekte ve analiz edebilmekteyiz. Bu ders içerisinde veri işleme hususunda Python’utercih edenlerin en sık kullandığı kütüphanelerden olan Matplotlib ile karmaşık verilerin görselleştimesi üzerine çalışmalar yapılacaktır. Dersin giriş bölümünde, veriye uygun grafik(ler)in seçilmesi ve figür terminolojisi üzerinde durulacaktır. Daha sonra sıklıkla kullanılan grafik/diagramların Matplotlib kullanılarak oluşturulması ve bu grafiklerin özelleştirilmesi için kullanılan araçlar uygulamalı olarak işlenecektir. Son olarak Matplotlib tabanlı bir başka kütüphane olan plotly kullanılarak daha interaktif figürler oluşturma üzerinde durulacaktır.

1. Makine Öğrenmesi Yaklaşımı

2. Nasıl Çalışır Denetimli (Supervised) Öğrenme Modeli Konuları

3. Scikit-Bilgi Denetimli (Supervised)

4. Öğrenme Modelleri - Doğrusal Regresyon

5. Denetimli(Supervised) Öğrenme Modelleri - Lojistik Regresyon

6. Denetimsiz (Unsupervised)

7. Öğrenme Modelleri

8. Pipeline

9. Model Kalıcılık ve Değerlendirme

10. Örnek Uygulama: Çalışanlar için Bilgisayarda Erişim Gereksinimleri Tespiti 

Scikit-learn, çok sayıda denetimli ve denetimsiz öğrenme algoritması sunar. Bu anlamda açık, anlaşılır ve en basit Machine Learning kütüphanesidir. Temel API tasarımı kolay, güçlü ve araştırma çabaları için esnekliği koruma etrafında dönmektedir. Bu sağlamlık, araştırma aşamasından üretim uygulamalarına kadar her uçtan uca Machine Learning projesinde kullanım için mükemmeldir. Scikit birkaç yaygın veri ve matematik kütüphanesi üzerine inşa edilmiştir. Böyle bir tasarım, kütüphaneler arasında entegrasyonu kolaylaştırır. Numpy dizilerini ve Pandas veri setlerini doğrudan Scikit'in Machine Learning algoritmasına geçirebilirsiniz.

1. Veri dönüştürme

2. Eksik Veri Doldurma

3. Değişken Seçme

Correlation

ANOVA

Chi Square

Mutual Information

Non-parametric

Model tabanlı

Değişken Seçme

İleriye dönük seçme

Geriye dönük seçme

4. Değişken önemi ölçme

Feature Engineering Feature Engineering makine öğrenmesi modellerinde çok önemli bir rol oynamaktadır. Feature Engineering yani değişken seçme ve üretme, makine öğrenmesi modellerinin doğru sonuçlar üretibilmesi ve genelleştirilebilmesi için büyük önem arzetmektedir. Değişik kaynaklardan gelen veriler içersinden sistem çıktısını en doğru tahmin edebilecek değişkenleri seçmek iyi bir modelin ön koşuludur.

Bu dersimizde değişik feature engineering yöntemleri uygulayarak makine öğrenmesi modellerimizi iyileştirmek için çalışmalar yapılıyor olacak. 

1.Web Scraping Nedir ve Neden Scraping kullanılır?

2.Web Scraping'in Zorlukları

3.Veri Kaynağının Kontrol Edilmesi

4.Web Sitesinin Keşfedilmesi

5. URL'lerdeki Bilgilerin Çözümlenmesi

6. Geliştirici Araçlarını Kullanarak Sitelerini İncelenmesi

7. Sayfadan HTML İçeriğini nasıl alırız?

8. Statik Web Siteleri

9. Gizli Web Siteleri

10. Dinamik Web Siteleri

11. BeautifulSoup ile HTML Kodu Ayrıştırma

12. Öğeleri ID’ye Göre Bulma

13. HTML Sınıf Adına Göre Öğeleri Bulma

14. HTML Öğelerinden Metin Çıkarma

15. Sınıf Adı ve Metin İçeriğine Göre Öğeleri Bulma

16. HTML Öğelerinden Öznitelikleri Ayıkla

Case: yenibiris.com insan kaynakları sitesi üzerinden scraping çalışması

Case: İş Arama Aracını Oluşturma

İnternet ortamında yer alan veri, herhangi bir çalışma veya araştırma için en kısa sürede ulaşılabilecek ve kullanılabilecek zengin bir kaynaktır. Dağınık bir şekilde yer alan bu verileri toplamak için web scraping konusunda ilgili araçlara hakim ve aynı zamanda bilgi sahibi olmanız gerekir. Burada BeautifulSoup bu iş için python temelli en kolay çözümlerden biridir. Python ve HTML konusundaki temel bilgilerinizle, BeautifulSoup ile web scraping konusunda uygulamalı ve hedefe yönelik bir eğitim alacaksınız.

1. İlişkisel Veritabanı Yönetim Sistemlerinin temelleri anlatılması

2. SQL Kodlama ve Örnek Uygulamalar yapılması

3. NoSQL veri Tabanlarının tanıtılması

       A. Key-Value Database

       B.Wide Column Database

       C.Document Database

       D.Graph Database

4. Örnekler ile NOSQL veritabanlarının kullanımına dair bilgilerin verilmesi

5. Popüler NoSQL veritabanları üzerinde kodlama örnekleri yapılması

İş analitiği uygulamalarının temeli verilerin depolanması ve gerektiğine işlenerek analize hazır hale getirilmesine dayanmaktadır. Klasik olarak işletmelerde İlişkisel veritabanları (SQL) kullanılmaktayken son dönemde gelişen büyük veri kavramı içerisinden NoSQL veritabanları da gündeme gelmiştir. Bu ders kapsamında temel veritabanı yönetim sistemi bilgileri, SQL kodlama ve örnek uygulamalar yapılmakta, ayrıca farklı NoSQL veritabanları örnek uygulamalar ile tanıtılmaktadır.

1. Büyük veri ve teknolojilerinin anlaşılması ve kullanım şekli

2. Büyük veri platformlarının gelişim süreci ve çözüm önerilerinin anlaşılması

3. Büyük veri teknolojileri ve uygulamaları arasındaki farklılıklar

4. Büyük veri platformlarının çeşitliliği, iş-modeli ve iş-zekası özelinde farklı kullanım metotları

5. Büyük veri teknolojilerinin dağınık ve yapılandırılmış veri yapıları üzerinden anlaşılması, uygulamalar ve buna bağlı çözüm önerileri

6. Hadoop HDFS ve MapReduce çözüm yapısının anlaşılması, Apache Spark ve Amazon Web Service (AWS) platformlarının farklılıkları ve başlangıç uygulamaları

7. Servis-olarak-Hadoop ve Servis-olarak-Bulut çözümlerinin anlaşılması ve kullanım şekilleri Hadoop, AWS ve Apache Spark üzerinden temel uygulamaların yapılması

8. Güncel büyük veri uygulamalarının gösterilmesi ve sonuçların tartışılması

Hadoop ile Büyük veri uygulamaları dersinde, büyük veri ve buna bağlı oluşturulan teknolojik çözümlerin anlaşılması ve kullanım şekli tartışılarak, sistemde güncel kullanılmakta olan büyük veri platformların gelişim süreçleri ve çözüm önerileri gösterilecektir. Bu çerçevede büyük veri teknolojileri ve uygulamaları arasında farklılıklar irdelenecek, büyük veri incelemelerinde kullanılan platformların çeşitliliği, iş-modeli ve iş-zekâsı özelinde farklı kullanım metotları gösterilecektir. Bu teknolojilerin günümüzde çeşitlilik gösteren kaynaklardan toplanan dağınık ve yapılandırılmış veri yapıları üzerinden bir araya getirilerek anlaşılması, uygulamaları ve buna bağlı çözüm önerileri tartışılacaktır. Hadoop HDFS ve MapReduce kurgusu temel anlamda tartışılarak, Apache Spark ve Amazon Web Servisi (AWS) platformları ile karşılaştırılmalı gösterilecektir. Servis-olarak-Hadoop ve Servis-olarak-Bulut çözümlerinin işletmeler özelinde kullanım şekilleri güncel örnekler ile tartışılarak, Hadoop, AWS ve Apache Spark üzerinden ilk temel uygulamalar gösterilecektir. Türkiye’de ve dünyada yer alan büyük veri uygulamalarının ve teknolojilerinin kullanım şekli gösterilerek elde edilen sonuçlar geniş bir bakış açısı ile tartışılacaktır.

Verilen veri setleri üzerinden ;

Mevcut problemin tanımlanması, verinin ayıklanması, veri içeriklerinin kontrol edilmesi, veri setinin test edilmesi (normallik değerlerine bakılması, aykırı değer vb. unsurlar gözetilerek), verinin modellenmesi ve karar-destek süreçlerinden geçirilerek deployment sürecinin başlatılması adımları uygulamalı olarak gösterilecektir.