Bab 1 ~3 jam Pemula

Pengantar Data Science

Pahami apa itu data science, mengapa itu penting, dan bagaimana bidang ini berperan dalam lanskap teknologi dan pengambilan keputusan bisnis.

1.1 Apa Itu Data Science?

Data science adalah bidang interdisipliner yang menggunakan metode ilmiah, proses, algoritma, dan sistem untuk mengekstrak pengetahuan dari data terstruktur maupun tidak terstruktur. Bidang ini menggabungkan statistika, ilmu komputer, dan pengetahuan domain.

Istilah "data science" pertama kali digunakan pada tahun 2001 oleh William S. Cleveland, namun akar bidang ini sudah ada sejak puluhan tahun lalu. Yang berubah adalah skalanya — kita kini menghasilkan lebih banyak data dalam satu hari dibandingkan seluruh sejarah manusia sebelum tahun 2000.

Ilustrasi: Tiga Pilar Data Science

Statistika Inferensi, probabilitas, pengujian hipotesis
Ilmu Komputer Algoritma, struktur data, skalabilitas
Domain Konteks bisnis, aturan, keahlian industri
Data
Science

Statistika

Fondasi matematika

Ilmu Komputer

Algoritma & sistem

Pengetahuan Domain

Konteks & keahlian

Contoh Konkret

Sebuah rumah sakit ingin mengurangi tingkat readmisi pasien (pasien yang kembali masuk dalam 30 hari setelah pulang).

STAT

Statistika: Regresi logistik untuk menghitung probabilitas readmisi berdasarkan variabel seperti usia, riwayat penyakit, dan durasi rawat inap.

CS

Ilmu Komputer: Pipeline ETL untuk menggabungkan data dari sistem elektronik medis (EHR), laboratorium, dan apotek. Model disajikan via API real-time.

DOM

Domain: Dokter menjelaskan bahwa pasien gagal jantung dengan tingkat natrium rendah memiliki risiko tinggi — insight yang tidak akan ditemukan algoritma tanpa konteks medis.

Ilustrasi: Ledakan Data Global (per tahun)

2010
2 Zettabyte
2015
15 Zettabyte
2020
64 Zettabyte
2025
~181 Zettabyte
2030
~500+ Zettabyte

Sumber: IDC Global DataSphere Forecast (estimasi)

Insight Kunci: Data science bukan sekadar membangun model. Ini tentang mengajukan pertanyaan yang tepat, memahami konteks, dan mengkomunikasikan hasil secara efektif. Model hanya bernilai jika menyelesaikan masalah nyata.

Data Science vs Bidang Terkait

Aspek Data Science Statistika Tradisional Business Intelligence
FokusPrediksi & preskripsiInferensi & penjelasanDeskripsi & pelaporan
DataTerstruktur & tidak terstrukturUmumnya terstrukturTerstruktur (database)
SkalaBig data (TB–PB)Sampel kecil–sedangSedang–besar
OtomasiTinggi (pipeline ML)Rendah (analisis manual)Sedang (dashboard)

1.2 Siklus Hidup Data Science

Setiap proyek data science mengikuti siklus umum. Meskipun langkah-langkahnya bisa bervariasi, tahap intinya tetap konsisten:

Ilustrasi: Alur Proyek Data Science

🯄
Masalah
📊
Kumpul
🧹
Bersih
🔍
Eksplor
Model
Evaluasi
🚀
Deploy
👁
Monitor

Perkiraan alokasi waktu proyek:

40%
Definisi & Model Kumpul & Evaluasi Bersih & Deploy Eksplor & Monitor
01

Definisi Masalah

Tentukan masalah bisnis, kriteria keberhasilan, dan bagaimana data dapat membantu. Ini langkah paling kritis — masalah yang didefinisikan dengan baik sudah setengah selesai.

Contoh

Sebuah perusahaan e-commerce ingin mengurangi churn pelanggan. Pertanyaan yang tepat bukan "Bagaimana memprediksi churn?" melainkan "Pelanggan seperti apa yang berhenti, kapan, dan apa intervensi paling efektif?"

02

Pengumpulan Data

Kumpulkan data dari sumber yang relevan: database, API, web scraping, survei, atau dataset yang sudah ada.

Contoh

Gabungkan data transaksi (SQL database), log klik website (Kafka), tiket support (Zendesk API), dan survei kepuasan (Google Forms). Total: 2.3 juta baris, 47 kolom.

03

Persiapan Data

Bersihkan, transformasi, dan strukturkan data. Tangani nilai hilang, pencilan, dan inkonsistensi. Tahap ini menghabiskan 60-80% waktu proyek.

Contoh

Tangani 12% nilai hilang di kolom "income" (imputasi median berdasarkan segmen), hapus 340 duplikat, standarisasi format tanggal (5 format berbeda!), dan encode variabel kategorikal.

04

Analisis Eksploratori

Pahami pola, distribusi, korelasi melalui visualisasi dan analisis statistik. Rumuskan hipotesis.

Contoh

Ditemukan: pelanggan yang menghubungi support >3x dalam 30 hari pertama memiliki churn rate 67% vs rata-rata 12%. Korelasi kuat antara waktu respons support dan retensi.

05

Pemodelan

Pilih dan latih algoritma yang sesuai. Feature engineering, tuning hyperparameter, dan cross-validation.

Contoh

Bandingkan Random Forest (AUC 0.89), XGBoost (AUC 0.92), dan Logistic Regression (AUC 0.81). Pilih XGBoost setelah tuning — feature terpenting: jumlah tiket support, hari sejak pembelian terakhir, dan rating produk.

06

Evaluasi

Asses kinerja model menggunakan metrik yang tepat. Validasi terhadap tujuan bisnis.

Contoh

AUC 0.92 bagus, tapi bisnis peduli pada: "Berapa banyak churn yang bisa dicegah dengan biaya intervensi yang masuk akal?" Analisis ROI menunjukkan menargetkan top 15% risiko menghasilkan penghematan Rp 2.1M/bulan.

07

Deployment

Integrasikan model ke sistem produksi: API, dashboard, atau pipeline otomatis.

Contoh

Model disajikan via FastAPI endpoint. Setiap malam, pipeline Airflow menjalankan batch prediction dan mengisi kolom "churn_score" di CRM. Tim marketing mendapat daftar "pelanggan berisiko tinggi" di dashboard.

08

Monitoring

Pantau kinerja model seiring waktu. Deteksi drift dan latih ulang jika diperlukan.

Contoh

Setelah 3 bulan, AUC turun ke 0.85. Data drift terdeteksi: rasio pengguna mobile meningkat dari 40% ke 65%. Model dilatih ulang dengan data baru dan AUC kembali ke 0.91.

Ilustrasi: Siklus Iteratif, Bukan Linear

Iterasi
Terus-menerus
Definisi Masalah
Model → Evaluasi
Deploy → Monitor
Kumpul → Bersih → Eksplor

Dalam praktiknya, hasil evaluasi sering mengharuskan kita kembali ke tahap sebelumnya — misalnya kembali ke persiapan data jika model underfitting.

1.3 Peran & Keahlian

Ekosistem data mencakup beberapa peran yang saling tumpang tindih. Memahami perbedaannya membantu Anda memetakan karir dan berkolaborasi secara efektif.

Ilustrasi: Profil Keahlian per Peran

Data Scientist

Statistik 75
Pemrograman 70
ML/AI 80
Visualisasi 65
Domain 60
Engineering 40

Data Analyst

Statistik 70
Pemrograman 55
ML/AI 30
Visualisasi 85
Domain 75
Engineering 20

ML Engineer

Statistik 50
Pemrograman 90
ML/AI 85
Visualisasi 30
Domain 35
Engineering 90

Data Engineer

Statistik 25
Pemrograman 90
ML/AI 15
Visualisasi 20
Domain 30
Engineering 95
Peran Fokus Keahlian Utama
Data ScientistAnalisis & pemodelan end-to-endPython, Statistik, ML, Komunikasi
Data AnalystBI, laporan, dashboardSQL, Tableau, Excel, Statistik
ML EngineerSistem ML produksiPython, MLOps, Docker, Cloud
Data EngineerPipeline & infrastrukturSQL, Spark, Airflow, Cloud
Research ScientistMetode baru & publikasiMatematika, Deep Learning, Riset

Sehari dalam Kehidupan: Contoh Skenario

17:00 — Dokumentasi eksperimen di MLflow.-500/[0.03] border border-08:00 — Standup dengan tim produk. Diskusi metrik keberhasilan model rekomendasi baru.
09:00 — EDA data interaksi user minggu lalu. Menemukan anomali di log klik.
11:00 — Training model collaborative filtering. Eksperimen dengan 3 varian fitur.
14:00 — Review paper arXiv tentang transformer-based recommendation.
15:30 — Presentasi hasil ke stakeholder. Jawab pertanyaan "kenapa model ini lebih baik?"
17:00 — Dokumentasi eksperimen di MLflow.-500/10">

17:00 — Dokumentasi eksperimen di MLflow.-400/80 mb-2">Data Scientist

08:00 — Standup dengan tim produk. Diskusi metrik keberhasilan model rekomendasi baru.

09:00 — EDA data interaksi user minggu lalu. Menemukan anomali di log klik.

11:00 — Training model collaborative filtering. Eksperimen dengan 3 varian fitur.

14:00 — Review paper arXiv tentang transformer-based recommendation.

15:30 — Presentasi hasil ke stakeholder. Jawab pertanyaan "kenapa model ini lebih baik?"

17:00 — Dokumentasi eksperimen di MLflow.

Data Engineer

08:00 — Cek alert: pipeline ETL gagal jam 3 pagi. Root cause: schema change di source DB.

09:00 — Perbaiki schema dan re-run pipeline. Validasi data output.

11:00 — Desain schema data lake untuk tim marketing baru.

13:00 — Code review PR junior tentang optimasi query Spark.

15:00 — Setup Airflow DAG untuk data source baru (API partner).

17:00 — Monitor dashboard pipeline health dan update dokumentasi.

Ilustrasi: Alur Kolaborasi Tim Data

Data Engineer

Bangun pipeline & siapkan data

Data Analyst

Eksplorasi, insight, dashboard

Data Scientist

Pemodelan & eksperimen

ML Engineer

Deploy & produksi

1.4 Peralatan Data Science

Stack modern didominasi oleh Python. Berikut peta ekosistem alat yang akan Anda gunakan sepanjang kursus ini:

Ilustrasi: Arsitektur Stack Data Science

Aplikasi & Produk
Dashboard, Chatbot, Sistem Rekomendasi
Penyajian Model
FastAPI, Flask, Streamlit, Docker
Model & Algoritma
Scikit-learn, PyTorch, XGBoost, Hugging Face
Analisis & Visualisasi
Pandas, NumPy, Matplotlib, Seaborn, Plotly
Data & Infrastruktur
PostgreSQL, Spark, Airflow, S3, Cloud

Library Inti

Deep Learning

Pengembangan

Infrastruktur

Contoh: Alur Kerja Tipikal dengan Pandas & Scikit-learn

workflow_example.py
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report

# 1. Muat data
df = pd.read_csv('customers.csv')

# 2. Persiapan data
df = df.dropna(subset=['age', 'income'])
X = pd.get_dummies(df['category'])
y = df['churned']

# 3. Split data
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# 4. Latih model
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)

# 5. Evaluasi
print(classification_report(y_test, model.predict(X_test)))
# → precision: 0.91  recall: 0.88  f1: 0.89

Kapan Memilih Apa?

Eksplorasi cepat: Jupyter Notebook — interaktif, visual, bagus untuk EDA dan prototyping.

Kode produksi: VS Code + module Python — version control, testing, debugging yang baik.

Dataset kecil (<1GB): Pandas — simple, well-documented, ekosistem kaya.

Dataset besar (1GB–TB): Polars atau PySpark — parallel processing, lazy evaluation.

Deep learning riset: PyTorch — fleksibel, komunitas riset besar, debug mudah.

Deep learning produksi: TensorFlow/JAX — optimasi performa, deployment mobile/edge.

1.5 Aplikasi Dunia Nyata

Data science telah mengubah hampir setiap industri. Berikut contoh konkret dengan detail teknis:

E-Commerce

Sistem rekomendasi, peramalan permintaan, harga dinamis, deteksi penipuan.

Netflix menyimpan $1 miliar/tahun berkat sistem rekomendasi — 80% konten yang ditonton berasal dari rekomendasi. Shopee menggunakan collaborative filtering + content-based filtering untuk "Produk Serupa". Gojek menggunakan dynamic pricing berdasarkan permintaan real-time, cuaca, dan kepadatan lalu lintas.

Collaborative Filtering Content-Based Filtering Time Series Forecasting Anomaly Detection

Kesehatan

Prediksi penyakit, pencitraan medis, penemuan obat, stratifikasi risiko pasien.

Google DeepMind mengembangkan AlphaFold yang memprediksi struktur protein dengan akurasi 92.4% — masalah 50 tahun yang terpecahkan. Di Indonesia, Halodoc menggunakan NLP untuk triase gejala pasien sebelum konsultasi dokter. Model CNN mendeteksi retinopati diabetik dari foto retina dengan akurasi setara dokter spesialis.

Computer Vision (CNN) NLP (Triase & Rekaman Medis) Graph Neural Networks (Drug Discovery) Time Series (Monitoring Pasien)

Keuangan

Penilaian kredit, trading algoritmik, deteksi anomali, manajemen risiko.

Bank Jago menggunakan ML untuk credit scoring alternatif — menganalisis data transaksi, pola pengeluaran, dan riwayat pembayaran untuk menilai kredit bagi orang tanpa riwayat kredit formal. BCA mendeteksi fraud real-time dengan menganalisis ratusan fitur dalam <100ms per transaksi.

Gradient Boosting (Credit Scoring) Anomaly Detection (Fraud) NLP (Analisis Sentimen Pasar) Reinforcement Learning (Trading)

Kendaraan Otonom

Deteksi objek, perencanaan jalur, sensor fusion, pengambilan keputusan real-time.

Waymo memproses ~20 TB data per hari dari armada kendaraannya. Setiap kendaraan memiliki 29 kamera, 4 LiDAR, dan 6 radar. Pipeline:感知(deteksi objek) → 预测(prediksi perilaku) → 规划(perencanaan jalur) → 控制(kontrol kendaraan). Latensi end-to-end harus <100ms untuk keamanan.

3D Object Detection Semantic Segmentation Sensor Fusion (LiDAR + Camera) Real-time Inference (TensorRT)

NLP & AI Generatif

Analisis sentimen, terjemahan mesin, menjawab pertanyaan, generasi konten.

ChatGPT (OpenAI) menggunakan arsitektur Transformer dengan 175+ miliar parameter. Di Indonesia: Glair AI membuat chatbot berbahasa Indonesia untuk customer service. Kompas menggunakan NLP untuk mengkategorikan 10.000+ artikel per hari secara otomatis. Aplikasi terjemahan Google mendukung 133 bahasa termasuk Jawa, Sunda, dan Batak.

Large Language Models RAG (Retrieval-Augmented Generation) Fine-tuning (Domain-specific) Sentiment Analysis & NER

Ilustrasi: Dampak Bisnis Data Science

$1M

Dihemat Netflix/tahun dari rekomendasi

92.4%

Akurasi prediksi protein AlphaFold

<100ms

Latensi deteksi fraud real-time

20TB

Data/hari dari armada kendaraan otonom

1.6 Etika & Bias

Sebagai data scientist, kita bertanggung jawab mempertimbangkan implikasi etis dari pekerjaan kita. Bias dalam data atau algoritma dapat menghasilkan dampak berbahaya pada skala besar.

Ilustrasi: Jenis-Jenis Bias dalam Machine Learning

Sampling Bias

Data pelatihan tidak representatif terhadap populasi nyata.

Contoh: Model rekrutmen dilatih pada data karyawan saat ini (80% pria). Model "belajar" bahwa laki-laki lebih cocok — padahal ini refleksi bias historis, bukan kemampuan.

Measurement Bias

Cara pengukuran berbeda antar kelompok.

Contoh: Sistem pengenalan wajah memiliki error rate 0.8% untuk pria kulit terang, tapi 34.7% untuk wanita kulit gelap (Joy Buolamwini, MIT).

Confirmation Bias

Hanya mencari atau menampilkan data yang mendukung hipotesis awal.

Contoh: Analis yang percaya "produk A lebih baik" hanya membandingkan metrik di segmen yang menguntungkan, mengabaikan segmen lain.

Algorithmic Bias

Model meng amplifikasi bias yang ada dalam data.

Contoh: Sistem kredit otomatis menolak pinjaman dari kelurahan tertentu karena historisnya — menciptakan lingkaran setan ketidaksetaraan.

Deployment Bias

Model digunakan di konteks yang berbeda dari yang dimaksudkan.

Contoh: Model prediksi kelahiran prematur yang dikembangkan di rumah sakit AS diterapkan di rumah sakit Indonesia tanpa validasi ulang — hasilnya tidak akurat.

Peringatan: Bias historis dalam data pelatihan akan tersandikan dan diperkuat oleh sistem machine learning. Selalu audit data dan output model terhadap dampak yang tidak merata di berbagai kelompok demografis.

Ilustrasi: Framework Pengambilan Keputusan Etis

1

Identifikasi Dampak

Siapa yang terpengaruh? Apa konsekuensi negatif yang mungkin?

2

Audit Data

Apakah data merepresentasikan semua kelompok secara adil?

3

Evaluasi Model

Bandingkan performa lintar kelompok demografis.

4

Mitigasi

Terapkan teknik debiasing, tambah data underrepresented, atau batasi penggunaan.

5

Dokumentasi & Transparansi

Publikasikan model card, data card, dan batasan model.

6

Monitoring Berkelanjutan

Pantau bias dan kinerja setelah deployment.

  • Privasi Data: Hormati persetujuan pengguna, anonimkan data sensitif, patuhi regulasi (UU PDP Indonesia, GDPR Eropa). Data yang di-anonymisasi dengan buruk bisa di-deanonymize — kasus Netflix Prize 2007 membuktikannya.
  • Keadilan Algoritmik: Periksa bias pada atribut yang dilindungi (gender, ras, usia, disabilitas). Gunakan metrik keadilan seperti equalized odds, demographic parity, dan teknik debiasing seperti adversarial debiasing.
  • Transparansi: Buat keputusan model dapat diinterpretasi. Hindari model black-box di domain berisiko tinggi tanpa penjelasan. Gunakan SHAP/LIME untuk explainability. Publikasikan "model card" yang mendokumentasikan batasan.
  • Akuntabilitas: Tetapkan kepemilikan dan tanggung jawab yang jelas untuk hasil dan kegagalan model. Siapa yang bertanggung jawab jika model salah? Buat escalation path yang jelas.

Studi Kasus: Kompaas AI (Indonesia, 2021)

Sebuah startup Indonesia menawarkan "AI untuk rekrutmen" yang menganalisis video wawancara kandidat. Investigasi menemukan bahwa sistem tersebut:

  • Tidak memiliki validasi ilmiah untuk klaim "membaca emosi" dari ekspresi wajah
  • Menggunakan konsep pseudosains ( Pembacaan emosi otomatis / automated emotion recognition ) yang telah dibantah oleh komunitas riset
  • Berpotensi mendiskriminasi kandidat berdasarkan penampilan, aksen, atau ekspresi budaya

Pelajaran: Teknologi AI tidak selalu "objektif". Validasi ilmiah dan regulasi adalah kewajiban, bukan opsional.

1.7 Latihan & Refleksi

Uji pemahaman Anda dengan pertanyaan berikut sebelum melanjutkan ke bab berikutnya.

1

Sebuah perusahaan ride-hailing ingin mengurangi waktu tunggu penumpang. Apa pertanyaan data science yang tepat untuk diajukan terlebih dahulu?

Petunjuk pemikiran

Pikirkan: apakah masalahnya tentang prediksi permintaan, distribusi driver, atau rute optimal? Setiap pertanyaan mengarah pada pendekatan yang berbeda.

2

Tahap mana dalam siklus hidup data science yang biasanya paling banyak menghabiskan waktu? Mengapa?

Petunjuk pemikiran

Jawabannya adalah persiapan data (60-80%). Tanyakan pada diri sendiri: mengapa data "kotor" dan apa saja yang perlu dibersihkan?

3

Apa perbedaan utama antara Data Scientist dan ML Engineer? Kapan sebuah perusahaan butuh keduanya?

Petunjuk pemikiran

Fokus pada: eksperimen vs produksi. Startup kecil mungkin butuh satu orang yang melakukan keduanya, perusahaan besar memisahkan peran ini.

4

Sebuah bank menggunakan model ML untuk menyetujui/menolak pinjaman. Model tersebut memiliki akurasi 95% secara keseluruhan, tapi hanya 70% akurat untuk kelompok usia di bawah 25 tahun. Apa yang salah dan bagaimana memperbaikinya?

Petunjuk pemikiran

Ini contoh algorithmic bias. Pertimbangkan: stratified evaluation, resampling, atau threshold yang berbeda per kelompok.

5

Anda diminta memilih antara Pandas dan PySpark untuk proyek baru. Data berukuran 500MB. Alat mana yang Anda pilih dan mengapa?

Petunjuk pemikiran

Ukuran 500MB masih sangat mudah ditangani Pandas di laptop biasa. PySpark memiliki overhead yang tidak sebanding untuk ukuran ini. Tapi pertimbangkan juga: apakah data akan tumbuh?

Proyek Mini: Observasi Data di Sekitar Anda

Sebelum memulai bab 2, coba latihan observasi ini:

  1. Pilih satu aplikasi yang Anda gunakan setiap hari (Gojek, Shopee, Spotify, dll.)
  2. Identifikasi minimal 3 tempat di mana data science digunakan (rekomendasi, pencarian, harga, dll.)
  3. Untuk setiap tempat, tebak: data apa yang dibutuhkan? Model apa yang mungkin digunakan? Metrik keberhasilan apa yang mungkin dipakai?
  4. Tuliskan jawaban Anda dalam format catatan — kita akan merevisinya di akhir kursus!

Ringkasan Bab 1

Data science = Statistika + Ilmu Komputer + Domain Knowledge. Ketiganya harus hadir.

Siklus hidup DS adalah iteratif, bukan linear. Persiapan data mendominasi waktu (60-80%).

Peran DS, DA, ML Engineer, dan Data Engineer saling melengkapi dalam tim data.

Python adalah bahasa utama. Pandas, Scikit-learn, dan PyTorch adalah tulang punggung ekosistem.

DS telah mengubah setiap industri — dari rekomendasi Netflix hingga drug discovery.

Etika bukan afterthought. Bias, privasi, dan akuntabilitas harus dipertimbangkan sejak awal.