8 minute read

adifjgby

Overview

Masuk kee tahap lanjutan dari projek sebelumnya jika di projek sebelumnya itu belum menambahkan observ tools untuk monitoring dari infrastructure yang sudah di bangun sekarang saya akan membahas cara untuk menambahkan stack observ tools seperti prometheus,loki,grafana,dan alertmanager.Karena kali ini hanya menambahkan dan mengintegrasikan observ tools jadinya untuk infrastructure itu masih sama saja dengan projek sebelumnya,oke langsung saja masuk ke pembahasaanya

Node CPU RAM Storage Network
Master 2 cores 2GB 10GB 1 Adapters ( Static Ip )
Worker 1 2 cores 2GB 10GB 1 Adapters ( Static Ip )
Worker 2 2 cores 2GB 10GB 1 Adapters ( Static Ip )
Jenkins 7 cores 7GB 240GB Wlan

scdbijcf

Structure Folder

Untuk structure folder yang digunakan dalam projek ini ada tiga yang pertama itu untuk terraform dan yang kedua itu ansible terakhir itu ada di cluster,

terraform-setup/
├── .terraform/
├── compute.tf
├── main.tf
├── prep-vm.tf

dan yang kedua yaitu ansible

k8s/
├── ansible.cfg
├── inventory
├── playbook-allow-port.yaml
├── playbook-ip.yaml
├── playbook-join.yaml
├── playbook-kubernetes.yaml
├── playbook-pkg.yaml
├── playbook-swap.yaml
├── playbook-config.yaml
├── observ.yaml
├── observ_2.yaml

yang terakhir di cluster

cluster-side/
├── alertmanager-telegram.yaml

Tools

  • OS Laptop 1 : Windows 11 Pro
  • OS WSL2 Subsystem : Ubuntu 24.04 LTS
  • OS Ubuntu VM (K8s Nodes) : 24.04 LTS
  • OS Ubuntu Jenkins Node (Bare Metal) : 25.04
  • Kubernetes : 1.28
  • Containerd : 2.2.4
  • Java : 21
  • Jenkins : 2.56
  • Network : Flannel
  • Git Bash : 2.51.1
  • Terraform : v1.15.6
  • Ansible : v2.16+
  • Helm : v3.x
  • Telegram Bot :
  • KVM : 8.2.2
  • QEMU : 8.2.2
  • Libvirt : 10.0.0
  • Alertmanager : v0.33.1
  • Loki : 3.6.7
  • Loki Canary : 3.6.7
  • Loki Gateway (nginx) : 1.29-alpine
  • Grafana : 13.1.0
  • Prometheus Operator : v0.92.1
  • Prometheus Config Reloader : v0.92.1
  • Kube State Metrics : v2.19.1
  • Prometheus : v3.13.1
  • Node Exporter : v1.12.0
  • Promtail : 3.5.1

Catatan Kompatibilitas

Dites pada: VM Ubuntu 22.04 (jammy, dari image cloud) dan node Jenkins Ubuntu 25.04. Kalau memakai rilis Ubuntu lain, alur playbook dan module-nya sama. Yang perlu disesuaikan hanya yang bergantung pada codename rilis:

  • HashiCorp: ubah hashicorp_suite bila suite rilis belum ada di repo mereka.
  • Docker: pastikan download.docker.com sudah punya suite untuk rilis tersebut.
  • Terraform: ganti URL image di prep-vm.tf.

Setup

Oke masuk ke tahap pertama dari proses ini yaitu Oke masuk ke tahap pertama dari proses ini yaitu membuat namespace agar semua pods bisa berjalan didalam namespace

kubectl create namespace monitoring

lanjut setup helm untuk melakukan installasi plg stack pertama-tama buat sebuah file playbook

  vim observ-native.yaml
  |
- name: install observ tools
  hosts: masters
  become: yes

  tasks:
    - name: install helm
      ansible.builtin.get_url:
        url: https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
        dest: /home/ubuntu/helm.sh
        mode: "0700"

    - name: execute sh file
      ansible.builtin.shell: /home/ubuntu/helm.sh
      args:
        creates: /usr/local/bin/helm
      environment:
        DESIRED_VERSION: "v3.22.0"
    - name: Add a repository
      kubernetes.core.helm_repository:
        name: prometheus-community
        repo_url: https://prometheus-community.github.io/helm-charts
    - name: Deploy latest version of Grafana chart inside monitoring namespace with values
      kubernetes.core.helm:
        name: prometheus
        chart_ref: prometheus-community/kube-prometheus-stack
        chart_version: "65.1.0"
        release_namespace: monitoring
        update_repo_cache: true
        kubeconfig: /home/ubuntu/.kube/config

di playbook installati observ pertama itu hanya ada satu play dan terdiri dari beberapa task yang terpisah,jadi di task pertama itu untuk mendownload file script helm dengan menggunakan module get url,lalu di task kedua menggunakan module shell untuk execute file sh,lalu dengan menggunaakn create maka nilai idempotent tetap ada,masuk ke task selanjutnya yaitu menambahkan repo dari prometheus dengan menggunakan module helm_repository,masuk ke task terakhir yaitu task untuk melakukan installasi prometheus dengan menggunakan module core helm,karena tadi sudah menambahkan repo dari prometheus community jadinya di task ini tinggal,install dari repo yang sudah di tambahkan,saya menggunakan charts prometheus-community/kube-prometheus-stack dengan versi charts yang stabil untuk k8s versi 1.28,lalu masukan ke namspace monitoring yang sudah dibuat sebelumnya dengan dan path dari kubeconfig,karena playbook dijalankan dengan permission root jadinya helm akan kebingungan mencari dimana kubeconfig jadinya beri absolute path dari kubeconfig

ansible-playbook playbook.yaml
|
ansible-playbook observ-native.yaml

playbook diatas melakukan installasi untuk helm dan untuk melakukan installasi dari prometheus community,di task pertama

kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.30/deploy/local-path-storage.yaml

jadikan storage itu sebagai default

kubectl patch storageclass local-path -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'

selanjutnya yaitu instlaasi dari loki,grafana

vim observ_2-native.yaml
|
- name: install loki
  hosts: masters
  become: yes
  tasks:
    - name: Add a repository
      kubernetes.core.helm_repository:
        name: grafana
        repo_url: https://grafana.github.io/helm-charts
    ###  saya meminta claude untuk memasukan semua nilai --set dari playbook lama di satu task ini karena memang beanr benar membingungkan
    - name: Deploy Loki (single binary)
      kubernetes.core.helm:
        name: loki
        chart_ref: grafana/loki
        chart_version: "6.55.0"
        release_namespace: monitoring
        create_namespace: true
        update_repo_cache: true
        kubeconfig: /home/ubuntu/.kube/config
        values:
          deploymentMode: SingleBinary
          loki:
            commonConfig:
              replication_factor: 1
            storage:
              type: filesystem
            schemaConfig:
              configs:
                - from: "2024-04-01"
                  store: tsdb
                  object_store: filesystem
                  schema: v13
                  index:
                    prefix: loki_index_
                    period: 24h
          singleBinary:
            replicas: 1
            persistence:
              enabled: true
              size: 5Gi
          read:
            replicas: 0
          write:
            replicas: 0
          backend:
            replicas: 0
    - name: Deploy latest version of Grafana/promtail chart inside monitoring namespace with values
      kubernetes.core.helm:
        name: promtail
        chart_ref: grafana/promtail
        chart_version: "6.17.1"
        release_namespace: monitoring
        update_repo_cache: true
        kubeconfig: /home/ubuntu/.kube/config
        values:
          config:
            clients:
              - url: http://loki:3100/loki/api/v1/push

gunakan command

ansible-playbook
|
playbook observ_2-native.yaml

diplaybook kedua untuk obesrv ini akan menginstall loki binary dan promtail terdapat satau play dan tiga task,di task pertama akan menambahkan repo dari loki menggunakan module helm_repo lalu ditask kedua melakukan deployment dari repo yang sudah ditambahkan ditask sebelumnya dengan chart yang dideploy berupa grafana/loki dengan versi v6.55.0 asumsi bahwa ini versi stabil dengan k8s versi 1.28 lalu di deploy ke namespace monitoring dengan menggunakan kubeconfig absolute path dan ada beberapa values yang bisa saya jelaskan seperti deployment mode berupa single binary karena memang yang akan saya gunakan adalah single binary mode dan ada banyak lagi hal yang tidak bisa saya jelaskan karena terlalu panjang,masuk ke task selanjutnya sama seperti task installasi loki task ini melkukan installasi promtail dengan chart grafana/promtail dengan versi v6.17.1 asumsi saya ini versi yang stabil untuk k8s 1.28 sisaya sama tapi dipromtail ini ada url yang dimana url itu adalah tempat promtail mengambil data dari loki,tunggu hingga proses installasi selesai jika sudah jangan langsung masuk ke browser untuk mengakses si dashboard karena tidak bisa langsung mengakses dashboard dibutuhkan tunneling dan port fordward terlebih dahulu tapi sebelum itu buka wsl dan install socat terlebih dahulu gunakan command

apt-get install -y socat

oke karena socat sudah terinstall lalu selanjutnya gunakan command ini

di node-master
|
kubectl port-forward svc/prometheus-grafana 3001:80 -n monitoring --address=0.0.0.0 &

dan

di wsl
|
socat TCP-LISTEN:8884,bind=0.0.0.0,fork TCP:ip-node-master:3001 &

nah kenapa harus sekali melakukan tunneling dan port forward seperti ini karena layer dari infrastructure kali ini itu benar benar cukup rumit untuk user agar langsung bisa mengakses semua dashboard,jadinya disini perlu membypass semua network layer yang ada dan nantinya untuk memeriksa alertmanager juga perlu bypass sekali lagi oke jika sudah bisa langsung di cek

http://localhost:8884

jika sudah seharusnya akan muncul untuk opsi login

asdosvfuh

oke jika sudah ada tampilan login seperti ini masukan

username = admin

dan untuk passowrd nya gunakan output dari command berikut

kubectl get secret prometheus-grafana -n monitoring -o jsonpath="{.data.admin-password}" | base64 -d
echo

jika sudah akan di bawa ke dashboard dari si prometheus seperti ini

sadsifjuh

oke jika sudah berjalan dengan sempurna,tahap selanjutnya yaitu pembuatan dari tabel untuk menyajikan data pertama-tema pergi ke connection lalu data source setelah itu akan ada tampilan seperti ini

asdoij

tampilan diatas akan menunjukan berapa data source yang dimiliki misal ada prometheus default bawaan dari sistem lalu juga ada alter manager sama seperti prometheus default bawaan dari sistem,selanjutnya klik add new data source tombol berwarna biru

adfbh

jika sudah akan diarahkan ke menu seperti diatas,isi url dari data source yang akan ditambahkan dengan url default dari prometheus dan port dari prometheus,atau bisa saja isi dengan prometheus saja lalu tambahkan port dibelakangnya setelah itu scroll ke bawah

asldjfty

sampai di bagian bawah klik tombol save and test jika sudah keluar ke menu data source lagi

ladsfhyg

tambahkan data dari loki untuk collect semua metrics dan log dari node exporter untuk loki cukup isi url dengan loki:3100 setelah itu scroll ke bawah dan klik tombol save and test

loijuh

jika sudah semua berarti proses menambahkan data source sudah selesai sekarang masuk ke bagian selanjutnya yaitu menampilkan data menjadi sebuah dashboard agar semua informasi bisa di visualisasikan,pindah dari data source ke bagian dashboard

lkiufyh

lalu klik bagian new dan akan muncul dua opsi pilih import dashboard ,pilih import dashboard

paoidfy

akan di bawa ke halam seperti ini isi opsi kedua atau bagian kedua dari 3 opsi yang tersedia lalu isikan kode 1860 untuk full import jika sudah klik load

odiftry

lalu akan di bawa ke menu seperti diatas,cukup baiarkan saja default ,/ itu typo saya tidak sengaja kepencet,jika sudah klik import

pldifr

jika sudah akan ada tampilan detail tenang monitoring dari sistem kamu bisa ganti di node di kolom yang ada diatas di bagian nodename bisa ganti ke nodemaster atau node worker lainnya. Oke berikutnya yaitu testing visualisasi data untuk loki masuk ke bagian explore lalu pilih data sourcenya sebagai loki,lalu pilih bagian code jika sudah

adsifhgf

masukan query untuk si loki di bagian kolom masukan seperti ini

{node_name="k8s-master"}

query diatas memeriksa kondisi dari si node master,oke loki dan prometheus sudah berjalan dengan baik untuk selanjutnya bagian setup alertmanager dan disini saya akan menggunakan telegram sebagai tools alertnya,oke buka telegram lalu masuk ke bagian search bar diatas lalu cari username dengan nama

@BotFather

jika sudah masuk ke dalam username tersebut lalu masukan command

/newbot

jia sudah masukan nama dari si bot misalkan Test-alert jika sudah sekarang masukan username dari si bot misalkan aopsnsv_bot,ingat harus wajib diakhir nya ada _bot atau engga namaBot,oke sudah selesai nantinya akan muncuk output pesan seperti ini

adfdju

catat baik-baik token yang di generate oleh claude nantinya akan dipakai untuk mengakses chat itu dari api telegram sebelum itu coba chat terlebih dahulu bebas apa saja,jika sudah dengan chatnya buka browser apa saja lalu ketik di search bar

 https://api.telegram.org/bot<TOKEN_KAMU>/getUpdates

ganti dengan token yang tadi dikasih oleh telegram

kaisvuh

coba lihat di bagian

chat":{"id": xxxxxxx}

cari bagian chat id lalu simpan baik-baik sekarang buka terminal ssh ke node master lalu buat file dengan nama alertmanager-telegram.yaml

alertmanager:
  config:
    global:
      resolve_timeout: 5m
    route:
      receiver: 'telegram-notif'
      group_by: ['alertname']
      group_wait: 30s
      group_interval: 5m
      repeat_interval: 12h
      routes:
        - matchers:
            - alertname = "Watchdog"
          receiver: 'null'
    receivers:
      - name: 'null'
      - name: 'telegram-notif'
        telegram_configs:
          - bot_token: 'BOT-TOKEN'
            chat_id: 'CHAT-ID'
            parse_mode: 'HTML'
            send_resolved: true

lakukan helm upgrade tapi sebelum itu tambahkan repository dari prometheus sebelum upgrade menggunakan helm

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update

jika sudah gunakan command

helm upgrade prometheus prometheus-community/kube-prometheus-stack --namespace monitoring --kubeconfig /home/ubuntu/.kube/config --reuse-values -f alertmanager-telegram.yaml

oke jika sudah maka masuk ke dashboard alertmanager tapi sebelum itu lakukan bypass terlebih dahulu pertama-tama

Di Wsl2
|
ssh -L 9093:localhost:9093 ubuntu@ip-node-master -N

lalu

Di Node-Master
|
kubectl port-forward svc/prometheus-kube-prometheus-alertmanager -n monitoring 9093:9093 &

oke sekarang cek di browser

localhost:9093

maka dashboardnya akan seperti ini

aldfiju

oke karena sudah bisa mengakses dashboard dari alertmanager bisa langsung untuk testing dengan menggunnakan command berikut

curl -XPOST http://localhost:9093/api/v2/alerts -H "Content-Type: application/json" -d '[{"labels":{"alertname":"TestAlertFixed","severity":"warning"},"annotations":{"summary":"Final test
setelah fix receiver null"},"startsAt":"'$(date -u +%Y-%m-%dT%H:%M:%S.000Z)'"}]'

oke jika sudah bisa untuk cek secara berkala di notifikasi handphone

oksvhd

jika ada notif dari telegram berarti semuanya sudah berhasil untuk message alertnya

kadoaiush

dan

ijfsuhvj

dan cek di dashboard alertmanager

aihcosub