Designing a Cross-Platform DevOps Lab: From Provisioning to Production-Grade Observability (K8s, Terraform, Ansible, Prometheus, Loki, Alertmanager)
.png)
Overview
Masuk kee tahap lanjutan dari projek sebelumnya jika di projek sebelumnya itu belum menambahkan observ tools untuk monitoring dari infrastructure yang sudah di bangun sekarang saya akan membahas cara untuk menambahkan stack observ tools seperti prometheus,loki,grafana,dan alertmanager.Karena kali ini hanya menambahkan dan mengintegrasikan observ tools jadinya untuk infrastructure itu masih sama saja dengan projek sebelumnya,oke langsung saja masuk ke pembahasaanya
| Node | CPU | RAM | Storage | Network |
|---|---|---|---|---|
| Master | 2 cores | 2GB | 10GB | 1 Adapters ( Static Ip ) |
| Worker 1 | 2 cores | 2GB | 10GB | 1 Adapters ( Static Ip ) |
| Worker 2 | 2 cores | 2GB | 10GB | 1 Adapters ( Static Ip ) |
| Jenkins | 7 cores | 7GB | 240GB | Wlan |

Structure Folder
Untuk structure folder yang digunakan dalam projek ini ada tiga yang pertama itu untuk terraform dan yang kedua itu ansible terakhir itu ada di cluster,
terraform-setup/
├── .terraform/
├── compute.tf
├── main.tf
├── prep-vm.tf
dan yang kedua yaitu ansible
k8s/
├── ansible.cfg
├── inventory
├── playbook-allow-port.yaml
├── playbook-ip.yaml
├── playbook-join.yaml
├── playbook-kubernetes.yaml
├── playbook-pkg.yaml
├── playbook-swap.yaml
├── playbook-config.yaml
├── observ.yaml
├── observ_2.yaml
yang terakhir di cluster
cluster-side/
├── alertmanager-telegram.yaml
Tools
- OS Laptop 1 : Windows 11 Pro
- OS WSL2 Subsystem : Ubuntu 24.04 LTS
- OS Ubuntu VM (K8s Nodes) : 24.04 LTS
- OS Ubuntu Jenkins Node (Bare Metal) : 25.04
- Kubernetes : 1.28
- Containerd : 2.2.4
- Java : 21
- Jenkins : 2.56
- Network : Flannel
- Git Bash : 2.51.1
- Terraform : v1.15.6
- Ansible : v2.16+
- Helm : v3.x
- Telegram Bot :
- KVM : 8.2.2
- QEMU : 8.2.2
- Libvirt : 10.0.0
- Alertmanager : v0.33.1
- Loki : 3.6.7
- Loki Canary : 3.6.7
- Loki Gateway (nginx) : 1.29-alpine
- Grafana : 13.1.0
- Prometheus Operator : v0.92.1
- Prometheus Config Reloader : v0.92.1
- Kube State Metrics : v2.19.1
- Prometheus : v3.13.1
- Node Exporter : v1.12.0
- Promtail : 3.5.1
Catatan Kompatibilitas
Dites pada: VM Ubuntu 22.04 (jammy, dari image cloud) dan node Jenkins Ubuntu 25.04. Kalau memakai rilis Ubuntu lain, alur playbook dan module-nya sama. Yang perlu disesuaikan hanya yang bergantung pada codename rilis:
- HashiCorp: ubah
hashicorp_suitebila suite rilis belum ada di repo mereka. - Docker: pastikan
download.docker.comsudah punya suite untuk rilis tersebut. - Terraform: ganti URL image di
prep-vm.tf.
Setup
Oke masuk ke tahap pertama dari proses ini yaitu Oke masuk ke tahap pertama dari proses ini yaitu membuat namespace agar semua pods bisa berjalan didalam namespace
kubectl create namespace monitoring
lanjut setup helm untuk melakukan installasi plg stack pertama-tama buat sebuah file playbook
vim observ-native.yaml
|
- name: install observ tools
hosts: masters
become: yes
tasks:
- name: install helm
ansible.builtin.get_url:
url: https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
dest: /home/ubuntu/helm.sh
mode: "0700"
- name: execute sh file
ansible.builtin.shell: /home/ubuntu/helm.sh
args:
creates: /usr/local/bin/helm
environment:
DESIRED_VERSION: "v3.22.0"
- name: Add a repository
kubernetes.core.helm_repository:
name: prometheus-community
repo_url: https://prometheus-community.github.io/helm-charts
- name: Deploy latest version of Grafana chart inside monitoring namespace with values
kubernetes.core.helm:
name: prometheus
chart_ref: prometheus-community/kube-prometheus-stack
chart_version: "65.1.0"
release_namespace: monitoring
update_repo_cache: true
kubeconfig: /home/ubuntu/.kube/config
di playbook installati observ pertama itu hanya ada satu play dan terdiri dari beberapa task yang terpisah,jadi di task pertama itu untuk mendownload file script helm dengan menggunakan module get url,lalu di task kedua menggunakan module shell untuk execute file sh,lalu dengan menggunaakn create maka nilai idempotent tetap ada,masuk ke task selanjutnya yaitu menambahkan repo dari prometheus dengan menggunakan module helm_repository,masuk ke task terakhir yaitu task untuk melakukan installasi prometheus dengan menggunakan module core helm,karena tadi sudah menambahkan repo dari prometheus community jadinya di task ini tinggal,install dari repo yang sudah di tambahkan,saya menggunakan charts prometheus-community/kube-prometheus-stack dengan versi charts yang stabil untuk k8s versi 1.28,lalu masukan ke namspace monitoring yang sudah dibuat sebelumnya dengan dan path dari kubeconfig,karena playbook dijalankan dengan permission root jadinya helm akan kebingungan mencari dimana kubeconfig jadinya beri absolute path dari kubeconfig
ansible-playbook playbook.yaml
|
ansible-playbook observ-native.yaml
playbook diatas melakukan installasi untuk helm dan untuk melakukan installasi dari prometheus community,di task pertama
kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.30/deploy/local-path-storage.yaml
jadikan storage itu sebagai default
kubectl patch storageclass local-path -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
selanjutnya yaitu instlaasi dari loki,grafana
vim observ_2-native.yaml
|
- name: install loki
hosts: masters
become: yes
tasks:
- name: Add a repository
kubernetes.core.helm_repository:
name: grafana
repo_url: https://grafana.github.io/helm-charts
### saya meminta claude untuk memasukan semua nilai --set dari playbook lama di satu task ini karena memang beanr benar membingungkan
- name: Deploy Loki (single binary)
kubernetes.core.helm:
name: loki
chart_ref: grafana/loki
chart_version: "6.55.0"
release_namespace: monitoring
create_namespace: true
update_repo_cache: true
kubeconfig: /home/ubuntu/.kube/config
values:
deploymentMode: SingleBinary
loki:
commonConfig:
replication_factor: 1
storage:
type: filesystem
schemaConfig:
configs:
- from: "2024-04-01"
store: tsdb
object_store: filesystem
schema: v13
index:
prefix: loki_index_
period: 24h
singleBinary:
replicas: 1
persistence:
enabled: true
size: 5Gi
read:
replicas: 0
write:
replicas: 0
backend:
replicas: 0
- name: Deploy latest version of Grafana/promtail chart inside monitoring namespace with values
kubernetes.core.helm:
name: promtail
chart_ref: grafana/promtail
chart_version: "6.17.1"
release_namespace: monitoring
update_repo_cache: true
kubeconfig: /home/ubuntu/.kube/config
values:
config:
clients:
- url: http://loki:3100/loki/api/v1/push
gunakan command
ansible-playbook
|
playbook observ_2-native.yaml
diplaybook kedua untuk obesrv ini akan menginstall loki binary dan promtail terdapat satau play dan tiga task,di task pertama akan menambahkan repo dari loki menggunakan module helm_repo lalu ditask kedua melakukan deployment dari repo yang sudah ditambahkan ditask sebelumnya dengan chart yang dideploy berupa grafana/loki dengan versi v6.55.0 asumsi bahwa ini versi stabil dengan k8s versi 1.28 lalu di deploy ke namespace monitoring dengan menggunakan kubeconfig absolute path dan ada beberapa values yang bisa saya jelaskan seperti deployment mode berupa single binary karena memang yang akan saya gunakan adalah single binary mode dan ada banyak lagi hal yang tidak bisa saya jelaskan karena terlalu panjang,masuk ke task selanjutnya sama seperti task installasi loki task ini melkukan installasi promtail dengan chart grafana/promtail dengan versi v6.17.1 asumsi saya ini versi yang stabil untuk k8s 1.28 sisaya sama tapi dipromtail ini ada url yang dimana url itu adalah tempat promtail mengambil data dari loki,tunggu hingga proses installasi selesai jika sudah jangan langsung masuk ke browser untuk mengakses si dashboard karena tidak bisa langsung mengakses dashboard dibutuhkan tunneling dan port fordward terlebih dahulu tapi sebelum itu buka wsl dan install socat terlebih dahulu gunakan command
apt-get install -y socat
oke karena socat sudah terinstall lalu selanjutnya gunakan command ini
di node-master
|
kubectl port-forward svc/prometheus-grafana 3001:80 -n monitoring --address=0.0.0.0 &
dan
di wsl
|
socat TCP-LISTEN:8884,bind=0.0.0.0,fork TCP:ip-node-master:3001 &
nah kenapa harus sekali melakukan tunneling dan port forward seperti ini karena layer dari infrastructure kali ini itu benar benar cukup rumit untuk user agar langsung bisa mengakses semua dashboard,jadinya disini perlu membypass semua network layer yang ada dan nantinya untuk memeriksa alertmanager juga perlu bypass sekali lagi oke jika sudah bisa langsung di cek
http://localhost:8884
jika sudah seharusnya akan muncul untuk opsi login

oke jika sudah ada tampilan login seperti ini masukan
username = admin
dan untuk passowrd nya gunakan output dari command berikut
kubectl get secret prometheus-grafana -n monitoring -o jsonpath="{.data.admin-password}" | base64 -d
echo
jika sudah akan di bawa ke dashboard dari si prometheus seperti ini

oke jika sudah berjalan dengan sempurna,tahap selanjutnya yaitu pembuatan dari tabel untuk menyajikan data pertama-tema pergi ke connection lalu data source setelah itu akan ada tampilan seperti ini

tampilan diatas akan menunjukan berapa data source yang dimiliki misal ada prometheus default bawaan dari sistem lalu juga ada alter manager sama seperti prometheus default bawaan dari sistem,selanjutnya klik add new data source tombol berwarna biru

jika sudah akan diarahkan ke menu seperti diatas,isi url dari data source yang akan ditambahkan dengan url default dari prometheus dan port dari prometheus,atau bisa saja isi dengan prometheus saja lalu tambahkan port dibelakangnya setelah itu scroll ke bawah

sampai di bagian bawah klik tombol save and test jika sudah keluar ke menu data source lagi

tambahkan data dari loki untuk collect semua metrics dan log dari node exporter untuk loki cukup isi url dengan loki:3100 setelah itu scroll ke bawah dan klik tombol save and test

jika sudah semua berarti proses menambahkan data source sudah selesai sekarang masuk ke bagian selanjutnya yaitu menampilkan data menjadi sebuah dashboard agar semua informasi bisa di visualisasikan,pindah dari data source ke bagian dashboard

lalu klik bagian new dan akan muncul dua opsi pilih import dashboard ,pilih import dashboard

akan di bawa ke halam seperti ini isi opsi kedua atau bagian kedua dari 3 opsi yang tersedia lalu isikan kode 1860 untuk full import jika sudah klik load

lalu akan di bawa ke menu seperti diatas,cukup baiarkan saja default ,/ itu typo saya tidak sengaja kepencet,jika sudah klik import

jika sudah akan ada tampilan detail tenang monitoring dari sistem kamu bisa ganti di node di kolom yang ada diatas di bagian nodename bisa ganti ke nodemaster atau node worker lainnya. Oke berikutnya yaitu testing visualisasi data untuk loki masuk ke bagian explore lalu pilih data sourcenya sebagai loki,lalu pilih bagian code jika sudah

masukan query untuk si loki di bagian kolom masukan seperti ini
{node_name="k8s-master"}
query diatas memeriksa kondisi dari si node master,oke loki dan prometheus sudah berjalan dengan baik untuk selanjutnya bagian setup alertmanager dan disini saya akan menggunakan telegram sebagai tools alertnya,oke buka telegram lalu masuk ke bagian search bar diatas lalu cari username dengan nama
@BotFather
jika sudah masuk ke dalam username tersebut lalu masukan command
/newbot
jia sudah masukan nama dari si bot misalkan Test-alert jika sudah sekarang masukan username dari si bot misalkan aopsnsv_bot,ingat harus wajib diakhir nya ada _bot atau engga namaBot,oke sudah selesai nantinya akan muncuk output pesan seperti ini
.jpeg)
catat baik-baik token yang di generate oleh claude nantinya akan dipakai untuk mengakses chat itu dari api telegram sebelum itu coba chat terlebih dahulu bebas apa saja,jika sudah dengan chatnya buka browser apa saja lalu ketik di search bar
https://api.telegram.org/bot<TOKEN_KAMU>/getUpdates
ganti dengan token yang tadi dikasih oleh telegram

coba lihat di bagian
chat":{"id": xxxxxxx}
cari bagian chat id lalu simpan baik-baik sekarang buka terminal ssh ke node master lalu buat file dengan nama alertmanager-telegram.yaml
alertmanager:
config:
global:
resolve_timeout: 5m
route:
receiver: 'telegram-notif'
group_by: ['alertname']
group_wait: 30s
group_interval: 5m
repeat_interval: 12h
routes:
- matchers:
- alertname = "Watchdog"
receiver: 'null'
receivers:
- name: 'null'
- name: 'telegram-notif'
telegram_configs:
- bot_token: 'BOT-TOKEN'
chat_id: 'CHAT-ID'
parse_mode: 'HTML'
send_resolved: true
lakukan helm upgrade tapi sebelum itu tambahkan repository dari prometheus sebelum upgrade menggunakan helm
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
jika sudah gunakan command
helm upgrade prometheus prometheus-community/kube-prometheus-stack --namespace monitoring --kubeconfig /home/ubuntu/.kube/config --reuse-values -f alertmanager-telegram.yaml
oke jika sudah maka masuk ke dashboard alertmanager tapi sebelum itu lakukan bypass terlebih dahulu pertama-tama
Di Wsl2
|
ssh -L 9093:localhost:9093 ubuntu@ip-node-master -N
lalu
Di Node-Master
|
kubectl port-forward svc/prometheus-kube-prometheus-alertmanager -n monitoring 9093:9093 &
oke sekarang cek di browser
localhost:9093
maka dashboardnya akan seperti ini

oke karena sudah bisa mengakses dashboard dari alertmanager bisa langsung untuk testing dengan menggunnakan command berikut
curl -XPOST http://localhost:9093/api/v2/alerts -H "Content-Type: application/json" -d '[{"labels":{"alertname":"TestAlertFixed","severity":"warning"},"annotations":{"summary":"Final test
setelah fix receiver null"},"startsAt":"'$(date -u +%Y-%m-%dT%H:%M:%S.000Z)'"}]'
oke jika sudah bisa untuk cek secara berkala di notifikasi handphone

jika ada notif dari telegram berarti semuanya sudah berhasil untuk message alertnya
.jpeg)
dan

dan cek di dashboard alertmanager
