Ini adalah salah satu project end-to-end yang saya bangun untuk mensimulasikan production-grade data & infrastructure system dalam satu Linux VPS.
Project ini menggabungkan:
- Data Engineering (ETL pipeline)
- DevOps (CI/CD, containerization)
- Observability (metrics, logs, alerting)
- Security (intrusion detection & prevention)
Semua berjalan otomatis dan saling terintegrasi.
🏗️ What I Built
Saya membangun sebuah sistem dengan beberapa komponen utama:
- Apache Airflow → orchestration pipeline
- OpenSearch → data storage & search
- Grafana + Prometheus → monitoring & metrics
- Fluent Bit → centralized logging
- Nginx + SSL → reverse proxy
- WAHA API → WhatsApp alerting
- GitHub Actions → CI/CD automation
- Docker → container orchestration
Semua service berjalan dalam satu network dan bisa di-deploy ulang secara otomatis.
📊 Pipeline 1 — Indonesia Data Jobs Intelligence
Pipeline pertama berfokus pada data.
Saya menggabungkan beberapa sumber:
- Dataset JobStreet (job postings)
- Dataset salary
- API Remotive (live remote jobs)
🔄 What This Pipeline Does
- Extract data dari multiple sources
- Transform (deduplication, salary parsing, skill extraction)
- Load ke OpenSearch untuk indexing & querying
📈 Insights Generated
Dari 563 job postings, pipeline ini menghasilkan insight seperti:
- Skill paling banyak dicari: Excel, SQL, Power BI
- Region dengan rata-rata gaji tertinggi: Kalimantan Selatan
- Market didominasi oleh mid-level roles
- Jakarta masih menjadi pusat job market
Semua insight divisualisasikan dalam dashboard.
🔍 Pipeline 2 — Infrastructure Health Monitoring
Pipeline kedua berfokus pada reliability system.
Saya membuat monitoring system yang berjalan setiap 30 menit untuk:
- Uptime checking (7 subdomain)
- SSL expiration monitoring
- Log anomaly detection
📱 Real-Time Alerting
Jika terjadi issue, sistem akan otomatis mengirim alert ke WhatsApp.
🚨 Aventra Infrastructure Alert
Issues Detected:
⚠️ Log anomaly detected
Summary:
✅ Uptime OK
🔒 SSL OK
📋 Log anomaly found
🛡️ Real Incident I Handled
Sistem ini pernah mendeteksi:
- 69 failed SSH login attempts
- Multiple IP dari luar negeri
Saya langsung implement:
- Fail2Ban
Hasil:
- 4 IP attacker diblokir otomatis
- Sistem kembali normal tanpa manual intervention
⚙️ CI/CD Automation
Saya setup pipeline CI/CD dengan GitHub Actions:
- On every push
- Linting & validation
- On push to main
- Auto deploy ke VPS
- Restart services
- Health check
Tujuannya:
➡️ Memastikan deployment cepat, konsisten, dan minim error
☸️ Kubernetes Ready
Selain Docker Compose, saya juga menyiapkan:
- Kubernetes manifests (Pod, Deployment, Service, ConfigMap, Secret)
- Support rolling update & health checks
Ini memungkinkan project ini di-scale ke environment yang lebih besar.
📈 Engineering Principles Applied
Dalam membangun pipeline ini, saya menerapkan:
- Idempotent design → aman dijalankan ulang
- Parallel execution → faster processing
- Bulk indexing → efisien untuk data besar
- Fail-fast mechanism → cepat deteksi error
- Retry strategy → meningkatkan reliability
🎯 Why I Built This
Project ini saya bangun untuk:
- Simulasi real-world production system
- Menggabungkan Data Engineering + DevOps dalam satu project
- Menjadi portfolio yang menunjukkan end-to-end capability
👨💻 Author
Chaisar Abi Prasetyo
DevOps & Infrastructure Engineer
- GitHub: https://github.com/ChaisarAbi
- Portfolio: https://portfolio.aventra.my.id
🔚 Closing
Dengan resource yang minimal (single VPS), saya berhasil membangun:
- Automated ETL pipeline
- Monitoring & observability system
- Real-time alerting
- CI/CD pipeline
- Kubernetes-ready deployment
Project ini merepresentasikan bagaimana sebuah sistem production bisa dibangun secara efisien, scalable, dan reliable.