58 minute read

osiohgyvrav

Overview

Di projek kalii ini saya akan menjelaskan bagiamana cara membangun sebuah infrastructure cloud aws tanpa mengeluarkan uang karena full gratis!!,sebenarnya ini adalah projek phase 2 dari projek sebelumnya yang ini dan menggabungkan projek KVM/QEMU PHASE 2, di projek ini saya akan melengkapi projek sebelumnya dengan infrastructure yang sebelumnya sudah saya bangun,dengan menambahkan tools seperti k8s,jenkins,dan observ tools ditambah alert lewat telegram,kurang lebih begitu langsung saja masuk ke pembahasanya

Node CPU RAM Storage Network
Master 2 cores 2GB 10GB 1 Adapters ( Static Ip )
Worker 1 2 cores 2GB 10GB 1 Adapters ( Static Ip )
Worker 2 2 cores 2GB 10GB 1 Adapters ( Static Ip )
Jenkins 7 cores 7GB 240GB Wlan

sdub

Tools

  • Wsl : v0.2.1
  • Terraform : v1.15.8
  • Localstack : v2026.6.3
  • Docker : v29.1.3
  • Python : v3.12.3
  • Aws Cli : v1.45.52
  • OS Laptop 1 : Windows 11 Pro
  • OS WSL2 Subsystem : Ubuntu 24.04 LTS
  • OS Ubuntu VM (K8s Nodes) : 22.04 LTS
  • OS Ubuntu Jenkins Node (Bare Metal) : 25.04
  • Kubernetes : 1.28
  • Containerd : 2.2.4
  • Java : 21
  • Jenkins : 2.56
  • Network : Flannel
  • Git Bash : 2.51.1
  • Terraform : v1.15.6
  • Ansible : v2.16+
  • Helm : v3.x
  • Telegram Bot :
  • KVM : 8.2.2
  • QEMU : 8.2.2
  • Libvirt : 10.0.0
  • Alertmanager : v0.33.1
  • Loki : 3.6.7
  • Loki Canary : 3.6.7
  • Loki Gateway (nginx) : 1.29-alpine
  • Grafana : 13.1.0
  • Prometheus Operator : v0.92.1
  • Prometheus Config Reloader : v0.92.1
  • Kube State Metrics : v2.19.1
  • Prometheus : v3.13.1
  • Node Exporter : v1.12.0
  • Promtail : 3.5.1
  • Ngrok
  • Gitlab : SaaS

Reasoning

Kenapa saya memilih untuk membangun phase 2? karena saya penasaran apakah bisa menintegrasikan aws environtment dengan tools tools stand alone dan ini juga sebagai bentuk pembelajaran bagi saya agar saya familiar dengan service yang ada di aws,dan kenepaa saya memilih untuk menggunakan localstack alasan utamanya karena gratis tapi perlu melakukan login user account terlebih dahulu agar mendapatkan auth token

STRUCTURE FOLDER

Untuk structure folder yang digunakan dalam projek ini ada tiga yang pertama itu untuk terraform dan yang kedua itu ansible,terakhir itu ada di cluster,

terraform-setup/
├── compute.tf
├── main.tf
├── prep-vm.tf
├── s3.tf
├── sns.tf
├── sqs.tf
├── sqs-trigger-lambda.tf
├── iam-attachment-role.tf
├── iam-attachment-role-consumer.tf
├── lambda_function_consumer.py
├── lambda_function.py
├── lambda-permission.tf
├── lambda.tf
├── lambda-2.tf
├── cloud-watch.tf
├── cloud-watch-metrics.tf
├── dynamodb.tf

lalu yang kedua

k8s/
├── ansible.cfg
├── inventory
├── playbook-allow-port.yaml
├── playbook-enable-service-baremetal.yaml
├── playbook-ip.yaml
├── playbook-install-java-baremetal.yaml
├── playbook-install-jenkins-baremetal.yaml
├── playbook-install-kubectl-baremetal.yaml
├── playbook-join.yaml
├── playbook-kubernetes.yaml
├── playbook-pkg.yaml
├── playbook-swap.yaml
├── playbook-config.yaml
├── playbook-install-terraform-bare-metal.yaml
├── observ.yaml
├── observ_2.yaml

dan yang terakhir yang ketiga di cluster

cluster-side/
├── alertmanager-telegram.yaml

Catatan Kompatibilitas

Dites pada: VM Ubuntu 22.04 (jammy, dari image cloud) dan node Jenkins Ubuntu 25.04. Kalau memakai rilis Ubuntu lain, alur playbook dan module-nya sama. Yang perlu disesuaikan hanya yang bergantung pada codename rilis:

  • HashiCorp: ubah hashicorp_suite bila suite rilis belum ada di repo mereka.
  • Docker: pastikan download.docker.com sudah punya suite untuk rilis tersebut.
  • Terraform: ganti URL image di prep-vm.tf.

Setup KVM/QEMU

NOTE!!!!! DIKARENAKAN PROJEK INI IALAH PENGGABUNGAN PHASE 1 AWS DAN PHASE 2 KVM/QEMU JADINYA UNTUK SETUP AWAL TIDAK ADA YANG BERUBAH HANYA MENSETUP KVM/QEMU+ PBSERV DAN AWS PHASE 1,JADINYA BISA DI SKIP KE BAGIAN BAWAH TEPATNYA DI AWS PHASE 1!! Dikarenakan ini menggunakan bare metal dan bukan vm disini tidak ada setup vm seperti biasanya,jadi saya menggunakan laptop lama saya yang sudah jarang di gunakan sebagai single node dan kebetulan os dari laptop lama saya itu ubuntu jadinya saya bisa memanfaatkan laptop usang saya sebagai bahan belajar Pertama-tama karena laptop lama saya itu os ubuntu tapi GUI dan bukan CLI saya akan merubahnya terlebih dahulu gunakan command

sudo systemctl set-default multi-user.target
sudo reboot

setelah itu os akan reboot dan akan masuk ke mode CLI

dari yang tadinya GUI

logoo

ke CLI

looo

jika ingin kembali ke tampilan GUI dari CLI ketik command

sudo systemctl set-default graphical.target
sudo reboot

jika sudah masuk ke file konfigurasi dari ssh karena nantinya akan dibutuhkan proxy jump untuk ssh,karena infrastructure dari projek ini yang lumayan rumit jadi sulit untuk menembus layer firewall dan security dari masing masing os jadi antara laptop 1 dan laptop 2 cuman bisa ssh satu sama lain tidak bisa laptop 2 mengkases cluster yang berada di dalam wsl oke langsung saja

vim ~/.ssh/config
|
Host hype-r
    HostName ip-laptop-1
    User rizki
    IdentityFile ~/.ssh/id_rsa

Host k8s-master
    HostName ip-master
    User ubuntu
    ProxyJump hype-r

Host k8s-worker1
    HostName ip-worker1
    User ubuntu
    ProxyJump hype-r

Host k8s-worker2
    HostName ip-worker2
    User ubuntu
    ProxyJump hype-r

jika sudah masuk ke bagaian installasi ansible,dikarenaka ansible disini akan berperan sebagai tools iac untuk proses installasi dari terraform dan jenkins itu sendiri oke langsung saja gunakan command

sudo apt-get update
sudo apt install ansible -y

tunggu hingga proses installasi selesai jika sudah buat sebuah folder dengan nama k8s

mkdir k8s
cd k8s

jika sudah berada di dalam folder k8s lalu buat file anisble.cfg

vim ansible.cfg
|
[defaults]
inventory = /home/rizky/k8s/inventory
remote_user = rizky
host_key_checking = False
become = yes
become_method = sudo
become_ask_pass = False

oke untuk ansible.cfg sudah dibuat tinggal buat inventorynya

[Jenkins]
node-Jenkins ansible_host=ip-laptop2


[all:vars]
ansible_user=rizky
ansible_ssh_private_key_file=~/.ssh/id_rsa
ansible_ssh_common_args='-o ProxyJump=rizki@192.168.100.36 -o StrictHostKeyChecking=no'

oke karena ansible itu terletak di bagian laptop 2 jadinya laptop 2 akan bertindak sebagai control tower yang akan menginisiasi ansible maupun terraform dan untuk ansible config kali ini itu hanya sementara nantinya akan ada tambahan bagian untuk ansible config seperti menambahkan ip dari domain atau node di KVM/QEMU jadinya ansible ini hanya sementara,oke masuk ke tahap selanjutnya yaitu proses installasi dari terraform menggunakan ansible

vim playbook-install-terraform-bare-metal-native.yaml
|
- name: install terraform bare metal
  hosts: Jenkins
  become: yes
  tasks:
    - name: Ensure keyrings directory exists
      ansible.builtin.file:
        path: /etc/apt/keyrings
        state: directory
        mode: "0755"
    - name: download gpg key
      ansible.builtin.get_url:
      url: https://apt.releases.hashicorp.com/gpg
      dest: /etc/apt/keyrings/hashicorp-archive-keyring.asc
      mode: "0644"
    - name: verify gpg
      ansible.builtin.shell: gpg --no-default-keyring --keyring /etc/apt/keyrings/hashicorp-archive-keyring.asc --fingerprint
      changed_when: false
    - name: Add HashiCorp apt repository
      ansible.builtin.apt_repository:
        repo: >-
          deb [arch=amd64
          signed-by=/etc/apt/keyrings/hashicorp-archive-keyring.asc]
          https://apt.releases.hashicorp.com  main
        filename: hashicorp
        state: present
    - name: install terraform
      ansible.builtin.apt:
        name: terraform
        state: present
        update_cache: yes

playbook diatas menggunakan dua module yang pertama yaitu module shell dan yang kedua yaitu module apt untuk melakukan installasi,di dua task pertama yaitu install gpg key dan verify gpg key,semua sesuai dengan urutan proses installasi yang ada di docs resmi dari hashi corp dimulai dari installasi gpg key setelah proses installasi selesai lalu dilanjut dengan verify gpg key dan untuk task ketiga yaitu menambahkan repo resmi dari terraform,setelah itu masuk ke modul shell dimana dimodul ini proses yang penting akan dimulai seperti update package setelah menambahkan key dan repository lalu melakukan instllasi dari terraform itu sendiri karena saya menggunakan modul resmi dari ansible untuk ubuntu yaitu apt jadinya tidak ada halangan dan proses berjalan lancar gunakan command

ansible-playbook playbook.yaml
|
ansible-playbook playbook-install-terraform-bare-metal-native.yaml

jika sudah masuk ke proses selanjutnya yaitu installasi dari jenkins

vim playbook-install-java-baremetal-native.yaml
|
- name: install java
  hosts: Jenkins
  become: yes
  tasks:
    - name: install jdk
      ansible.builtin.apt:
        name:
          - openjdk-21-jdk
          - fontconfig
        state: present
        update_cache: yes

dalam playbook ini saya menggunakan java 21 karena untuk menghindari error karena perbedaan versi dengan jenkins,tidak seperti di projek-projek sebelumnya yang menggunakan java versi 17 sekarang saya menggunakan java versi baru, dan menggunakan dua module dengan shell dan command yang saya gunaakan dalam playbook ini.Gunakan command

ansible-playbook playbook.yaml
|
ansible-playbook playbook-install-java-baremetal-native.yaml

masuk ke playbook selanjutnya

vim playbook-install-jenkins-baremetal-native.yaml
|
- name: install jenkins baremetal
  hosts: Jenkins
  become: yes
  tasks:
    - name: install gpg key for kubernetes
      ansible.builtin.get_url:
        url: https://pkg.jenkins.io/debian-stable/jenkins.io-2026.key
        dest: /etc/apt/keyrings/jenkins-keyring.asc
        mode: "0644"
    - name: adding file
      ansible.builtin.apt_repository:
        repo: "deb [signed-by=/etc/apt/keyrings/jenkins-keyring.asc] https://pkg.jenkins.io/debian-stable binary/"
        filename: Jenkins
        state: present
        update_cache: yes
    - name: install jenkins
      ansible.builtin.apt:
        name: jenkins
        state: present
        update_cache: yes
    - name: Enable and start Jenkins
      ansible.builtin.service:
        name: jenkins
        state: started
        enabled: true

saya menggunakan jenkins versi terbaru,dan ada beberapa penyesuaian dalam playbook kali ini seperti memperbaiki command yang di gunakan, jika sebelum-sebelumnya saya menambahkan key ke /usr/share tetapi apt mencari key di /etc/apt ini menimbulkan kekeliruan dan error yang fatal,ternyata saya tidak teliti dalam membuat script jadi saya memperbaiki dari projek buiild hybrid Ci/Cd, jika sudah langsung gunakan command

ansible-playbook playbook.yaml
|
ansible-playbook playbook-install-jenkins-baremetal-native.yaml

jika sudah masuk ke port

http://ip-node:9091

port default dari jenkins adalah 8080, jadi ketika proses installasi selesai jenkins akan langsung berjalan di port 8080,jika sudah maka akan ada tampilan seperti ini

asidha

masuk ke terminal node jenkins lalu buka file yang berisi file password awal untuk admin,jika sudah copy lalu pastekan ke jenkins tadi lalu klik continue jika sudah maka akan di bawa ke tampilah dashboard seperti ini

asduh

akan ada dua pilihan opsi seperti diatas pilih yang kiri atau install sugested jenkins plugins,karena ini awal jadi tidak perlu opsi sebelah kanan karena untuk sebelah kanan itu jika perlu custom plugins untuk jenkins jadinya hanya untuk case khusus dimana pengguna harus secara spesifik memilih plugins yang akan di install,jika belum klik opsi kiri dua kali

aoushduadbs

lalu kamu akan diarahkan ke menu installasi manual seperti diatas tunggu saja sampai proses installasi selesai,jika sudah

apisdh

maka akan ada tampilan pembuatan akun admin, buat sebuah akun terlebih dahulu,jika proses pembuatan akun sudah selesai

aishd

maka akan dibawa ke tampilan dashboard seperti diatas klik saja save and finish,jika sudah kamu akan di bawa ke halaman dashboard seperti ini

asodha

asdoj

lalu proses installasi jenkins sudah selesai sekarang bagian setup plugins dan credentials,klik icon settings di pojok kanan atas

aasdsodj

kamu akan di arahkan ke menu seperti diatas,scrool kebawah sedikit nanti akan ada menu credentials

aishd

jika klik bagian credentials tadi maka akan diarahkan ke menu seperti diatas,lalu klik add credentials

asuhd

akan ada popup menu seperti diatas pilih opsi username with password karena itu akan dipakai untuk credentials nanti untuk trigger webhook di gitlab isi semua kolom yang harus diisi

aisdads

kurang lebih seperti diatas untuk kolom yang harus diisi,saya menggunakan username untuk login ke gitlab dan passwordnya, karena saya menggunakan email biasa jadinya saya menggunakan username dan password email utama saya yang saya gunakan untuk login ke gitlab,jika sudah klik create jika sudah kembali ke menu manage jenkins lalu cari bagian plugin atau bisa gunakan tombol search lalu ketik plugins

asidhbdh

nantinya tampilanya akan seperti diatas lalu cari plugin berikut

Gitlab
Gitlab Authentication
Gitlab Gitlab Api
Generic Webhook Trigger

list sudah ada tinggal cari lalu install satu persatu

aoshdia

Setup Jenkins sudah selesai,jika sudah masuk ke tahap selanjutnya yaitu installasi dari kubectl,kenapa ini penting karena nantinya jenkins atau laptop 2 harus bisa mengakses cluster yang berada didalam laptop 1 oleh karena itu laptop 2 harus diinstall kubectl agar nantinya bisa menggunakan command-command kubernetes tapi tidak perlu keseluruhan atau semua komponen dari kubernetes diinstall cukup kubectl karena laptop 2 hanya perlu menggunakan command-comamnd kubernetes

vim playbook-install-kubectl-bare-metal-native.yaml
|
- name: install kubectl on baremetal
  hosts: Jenkins
  become: yes
  tasks:
    - name: install prerequisite
      ansible.builtin.apt:
        name:
          - apt-transport-https
          - ca-certificates
          - curl
        state: present

    - name: adding key
      ansible.builtin.get_url:
        url: https://pkgs.k8s.io/core:/stable:/v1.28/deb/Release.key
        dest: /etc/apt/keyrings/kubernetes-apt-keyring.asc
        mode: "0655"
    - name: signed repo
      ansible.builtin.apt_repository:
        repo: "deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.asc] https://pkgs.k8s.io/core:/stable:/v1.28/deb/ /"
        filename: kubectl
        state: present
        update_cache: yes
    - name: install kubectl
      ansible.builtin.apt:
        name: kubectl
        state: present

playbook diatas akan melakukan seluruh installasi untuk menginstall hanya jenkins saja jika ingat karena itu memang tujuan utama dari bagian in jadi jangan heran dengan playbook yang hanya separuh gunakan command

ansible-playbook playbook.yaml
ansible-playbook playbook-install-kubectl-baremetal.yaml

tunggu hingga proses selesai

Setup Cluster

Untuk tahap selanjutnya yaitu provisioning menggunakan terraform disini saya menggunakan provider dari komunitas untuk link resourcenya ada disini dan untuk resource dari docsnya disini,jika sudah dengan referensinya langsung saja masuk ke file

vim main.tf
|
terraform {
  required_providers {
    libvirt = {
      source = "dmacvicar/libvirt"
    }
  }
}
provider "libvirt" {
  uri = "qemu+ssh://rizki@ip-laptop1/system"
  
}

disini saya menyesuaikan sesuai dengan example yang ada di docs dan untuk uri bisa diganti dengan ip dari node masing-masing, jika sudah dengan file provider atau main.tfnya bisa masuk ke file selanjutnya jika sudah membuat eval agar si terraform bisa membuat sebuah perubahan

eval $(ssh-agent -s)
ssh-add ~/.ssh/id_rsa

jika sudah gunakan command

terraform init

lalu tunggu proses hingga selesai bagian lalu akan ada output seperti

asfihsr

jika berhasil maka output dari terraform akan seperti gambar diatas,masuk ke file selanjutnya

vim prep.tf
|
resource "libvirt_pool" "k8s_pool" {
  name = "k8s-cluster-pool"
  type = "dir"
  target = {
    path = "/var/lib/libvirt/images/k8s-cluster"
  }
}


resource "libvirt_volume" "ubuntu_base" {
  name   = "ubuntu-jammy-base.qcow2"
  pool   = libvirt_pool.k8s_pool.name
  target = {
    format = {
      type = "qcow2"
    }
  }

  create = {
    content = {
      url = "https://cloud-images.ubuntu.com/jammy/current/jammy-server-cloudimg-amd64.img"
    }
  }
}

resource "libvirt_volume" "vm-master" {
  name   = "vm-master.qcow2"
  pool   = libvirt_pool.k8s_pool.name
  target = {
    format = {
      type = "qcow2"
    }
  }

  
  capacity = 10737418240
  
  backing_store = {
    path   = libvirt_volume.ubuntu_base.path
    format = {
      type = "qcow2"
    }
  }
}

resource "libvirt_cloudinit_disk" "vm-master" {
  name = "vm-master-spec"

  user_data = <<-EOF
  #cloud-config
  users:
    - name: ubuntu
      sudo: ALL=(ALL) NOPASSWD:ALL
      lock_passwd: false
      shell: /bin/bash
  chpasswd:
    list: |
      ubuntu:$your-password
    expire: false
  ssh_pwauth: true
  packages:
    - openssh-server
  timezone: UTC
  EOF

 meta_data = <<-EOF
    instance-id: vm-master
    local-hostname: master
  EOF

  network_config = <<-EOF
    version: 2
    ethernets:
      interfaces:
        match:
          name: enp1s0
        dhcp4: true
  EOF
}

resource "libvirt_volume" "vm-master-cloudinit" {
  name = "vm-master-cloudinit.iso"
  pool = libvirt_pool.k8s_pool.name

  create = {
    content = {
      url = libvirt_cloudinit_disk.vm-master.path
    }
  }
}

resource "libvirt_volume" "vm-worker1" {
  name   = "vm-worker1.qcow2"
  pool   = libvirt_pool.k8s_pool.name
  target = {
    format = {
      type = "qcow2"
    }
  }

  
  capacity = 10737418240 

  backing_store = {
    path   = libvirt_volume.ubuntu_base.path
    format = {
      type = "qcow2"
    }
  }
}



resource "libvirt_cloudinit_disk" "vm-worker1" {
  name = "vm-worker1-spec"

  user_data = <<-EOF
  #cloud-config
  users:
    - name: ubuntu
      sudo: ALL=(ALL) NOPASSWD:ALL
      lock_passwd: false
      shell: /bin/bash
  chpasswd:
    list: |
      ubuntu:$your-password
    expire: false
  ssh_pwauth: true
  packages:
    - openssh-server
  timezone: UTC
 EOF

  meta_data = <<-EOF
    instance-id: vm-worker1
    local-hostname: worker
  EOF


  network_config = <<-EOF
    version: 2
    ethernets:
      interfaces:
        match:
          name: enp1s0
        dhcp4: true
  EOF
}

resource "libvirt_volume" "vm-worker1-cloudinit" {
  name = "vm-worker1-cloudinit.iso"
  pool = libvirt_pool.k8s_pool.name
  

  create = {
    content = {
      url = libvirt_cloudinit_disk.vm-worker1.path
    }
  }
}

resource "libvirt_volume" "vm-worker2" {
  name   = "vm-worker2.qcow2"
  pool   = libvirt_pool.k8s_pool.name
  target = {
    format = {
      type = "qcow2"
    }
  }


  capacity = 10737418240
  
  backing_store = {
    path   = libvirt_volume.ubuntu_base.path
    format = {
      type = "qcow2"
    }
  }
}

resource "libvirt_cloudinit_disk" "vm-worker2" {
  name = "vm-worker2-spec"

  user_data = <<-EOF
  #cloud-config
  users:
    - name: ubuntu
      sudo: ALL=(ALL) NOPASSWD:ALL
      lock_passwd: false
      shell: /bin/bash
  chpasswd:
    list: |
      ubuntu:$your-password
    expire: false
  ssh_pwauth: true
  packages:
    - openssh-server
  timezone: UTC
 EOF

  meta_data = <<-EOF
    instance-id: vm-worker2
    local-hostname: worker2
  EOF


  network_config = <<-EOF
    version: 2
    ethernets:
      interfaces:
        match:
          name: enp1s0
        dhcp4: true
  EOF
}

resource "libvirt_volume" "vm-worker2-cloudinit" {
  name = "vm-worker2-cloudinit.iso"
  pool = libvirt_pool.k8s_pool.name


  create = {
    content = {
      url = libvirt_cloudinit_disk.vm-worker2.path
    }
  }
}

nah di prep ini merupakan persiapan dari pembuatan domain atau bisa disebut sebagai vm dalam konteks KVM/QEMU ini

resource "libvirt_pool" "k8s_pool" {
  name = "k8s-cluster-pool"
  type = "dir"
  target = {
    path = "/var/lib/libvirt/images/k8s-cluster"
  }
}


resource "libvirt_volume" "ubuntu_base" {
  name   = "ubuntu-jammy-base.qcow2"
  pool   = libvirt_pool.k8s_pool.name
  target = {
    format = {
      type = "qcow2"
    }
  }

  create = {
    content = {
      url = "https://cloud-images.ubuntu.com/jammy/current/jammy-server-cloudimg-amd64.img"
    }
  }
}

di bagian pertama saya membuat sebuah pool dengan nama k8s_pool dan volume dengan nama ubuntu_base sebagai tempat penyimpanan image menaruh tempat default bagi pool untuk berada di /var/lib/libvirt/images/k8s-cluster/,pool berfungsi sebagaitempat dimana nanti domain atau vm yang akan menjadi cluster itu berjalan dan bukan hanya itu saja pool berfungsi sebagai tempat menyimpan volume dan juga volume berfungsi sebagai tempat penyimpanan dari image dan juga harddisk dimana nanti penyimpanan vm disimpan,dan untuk base image saya menggunakan ubuntu 22

resource "libvirt_volume" "vm-master" {
  name   = "vm-master.qcow2"
  pool   = libvirt_pool.k8s_pool.name
  target = {
    format = {
      type = "qcow2"
    }
  }

  
  capacity = 10737418240
  
  backing_store = {
    path   = libvirt_volume.ubuntu_base.path
    format = {
      type = "qcow2"
    }
  }
}

resource "libvirt_cloudinit_disk" "vm-master" {
  name = "vm-master-spec"

  user_data = <<-EOF
  #cloud-config
  users:
    - name: ubuntu
      sudo: ALL=(ALL) NOPASSWD:ALL
      lock_passwd: false
      shell: /bin/bash
  chpasswd:
    list: |
      ubuntu:$your-password
    expire: false
  ssh_pwauth: true
  packages:
    - openssh-server
  timezone: UTC
  EOF

 meta_data = <<-EOF
    instance-id: vm-master
    local-hostname: master
  EOF

  network_config = <<-EOF
    version: 2
    ethernets:
      interfaces:
        match:
          name: enp1s0
        dhcp4: true
  EOF
}

resource "libvirt_volume" "vm-master-cloudinit" {
  name = "vm-master-cloudinit.iso"
  pool = libvirt_pool.k8s_pool.name

  create = {
    content = {
      url = libvirt_cloudinit_disk.vm-master.path
    }
  }
}

saya jelaskan untuk bagian dari prep vm-master dimulai dengan pembuatan harddisk atau bisa dibilang dengan setup ukuran dari vm atau node dari vm-master

resource "libvirt_volume" "vm-master" {
  name   = "vm-master.qcow2"
  pool   = libvirt_pool.k8s_pool.name
  target = {
    format = {
      type = "qcow2"
    }
  }

  
  capacity = 10737418240
  
  backing_store = {
    path   = libvirt_volume.ubuntu_base.path
    format = {
      type = "qcow2"
    }
  }
}

saya menamai dengan nama vm-master dan setiap node wajib beda karena nantinya bisa menghindari kemungkinan dari error atau tabrakan antara node dengan node lainnya,saya membuat ukuran dari disk vm-master ini sebesar 10gb atau jika ingin spesifik yaitu sebesar 10737418240,kenapa tidak langsung 10gb? karena didalam docs resminya harus di tulis dalam byte jadinya tidak bisa langsung menulis dalam ukuran 10gb,lalu saya simpan didalam pool yang sebelumnya sudah saya buat di bagian pertama dan mengarahkan ke tempat penyimpanan image dengan nama ubuntu_base agar sistem bisa langsung tahu bahwa saya akan menggunakan ubuntu sebagai base image, lanjut

resource "libvirt_cloudinit_disk" "vm-master" {
  name = "vm-master-spec"

  user_data = <<-EOF
  #cloud-config
  users:
    - name: ubuntu
      sudo: ALL=(ALL) NOPASSWD:ALL
      lock_passwd: false
      shell: /bin/bash
  chpasswd:
    list: |
      ubuntu:$your-password
    expire: false
  ssh_pwauth: true
  packages:
    - openssh-server
  timezone: UTC
  EOF

 meta_data = <<-EOF
    instance-id: vm-master
    local-hostname: master
  EOF

  network_config = <<-EOF
    version: 2
    ethernets:
      interfaces:
        match:
          name: enp1s0
        dhcp4: true
  EOF
}

resource "libvirt_volume" "vm-master-cloudinit" {
  name = "vm-master-cloudinit.iso"
  pool = libvirt_pool.k8s_pool.name

  create = {
    content = {
      url = libvirt_cloudinit_disk.vm-master.path
    }
  }
}

terakhir yaitu bagian cloud init disini semua config di load dan nantinya yang akan membuat sistem berjalan sesuai dengan kebutuhan,didalamnya terdapat beberapa config seperti set sudo password,hostname dari vm atau domain lalu ada packages yang bisa di install ketika vm pertama kali diboot lalu ada juga user dan network config agar nantinya si vm bisa mendapatkan ip dan jaringan internet, yang terakhir yaitu set privillage untuk password root tanpa diminta password karena itu nantinya penting untuk ansble agar bisa berjalan jika tanpa setup NOPASSWD semuanya akan gagal karena ansible tidak akan bisa berjalan tapi ini hanya untuk infra dengan workflow seperti yang saya gunakan dan juga tergantung infra dan workflow masing masing,lalu di bagian paling akhir adalah pembuatan iso dari config user datadiatas nantinya semuanya akan dijadika sebuah file iso dan akan di suntikan atau dimasukan ke dalam node agar semua configurasi terbaca,dan untuk sisa vm workernya sama saja tinggal merubah nama dari masing-masing vm jadinya hanya mengulang.Masuk ke tahap selanjutnya yaitu installasi untuk KVM/QRMU,dan libvirt di wsl atau laptop 1

sudo apt update
sudo apt install -y qemu-kvm libvirt-daemon-system libvirt-clients bridge-utils virtinst virt-manager

jika sudah masukan user ke grup KVM/QEMU agar nantinya tidak usah menggunakan password sudo

sudo usermod -aG libvirt $USER
sudo usermod -aG kvm $USER

jika sudah enable service dari libvirt

sudo systemctl enable --now libvirtd

installasi dari KVM/QEMU dan libvirt sudah selesai masuk ke tahap setup ip static yang akan digunakan oleh domain atau node yang ada

virsh net-edit default

gunakan command diatas agar bisa mengedit ip dari libvirt yang nantinya memberikan ip,cari bagian yang seperti ini

<ip address="192.168.xxx.xxx" netmask="255.255.255.0">
  <dhcp>
    <range start="192.168.xxx.xxx" end="192.168.xxx.xxx.254"/>
  </dhcp>
</ip>

ubah sesuai dengan keinginan saya disini mengubahnya menjadi seperti ini

<ip address="10.10.10.1" netmask="255.255.255.0">
  <dhcp>
    <range start="10.10.10.2" end="10.10.10.254"/>
  </dhcp>
</ip>

jadinya static ip saya dimulai dengan 10.10.10.2 agar memudahkan saya jika harus menremote si node :v,oke jika semua sudah masuk ke tahap selanjutnya yaitu tahap compute

resource "libvirt_domain" "master" {
  name   = "k8s-master"
  memory = 2097152 
  vcpu   = 2
  type   = "kvm"

  os = {
    type         = "hvm"
    type_arch    = "x86_64"
    type_machine = "q35"
  }

  devices = {
    disks = [
      {
        source = {
          volume = {
            pool   = libvirt_pool.k8s_pool.name
            volume = libvirt_volume.vm-master.name
          }
        }
        target = {
          bus = "virtio"
          dev = "vda"
        }
        driver = {
          type = "qcow2"
        }
      },
      {
        device = "cdrom"
        source = {
          volume = {
            pool   = libvirt_pool.k8s_pool.name
            volume = libvirt_volume.vm-master-cloudinit.name
          }
        }
        target = {
          bus = "sata"
          dev = "sda"
        }
      }
    ]

     interfaces = [
      {
        type  = "network"
        model = { type = "virtio" }
        source = {
          network = {
            network = "default"
          }
        }
      }
    ]
  }

  running = true
}

resource "libvirt_domain" "worker1" {
  name   = "k8s-worker1"
  memory = 2097152 
  vcpu   = 2
  type   = "kvm"

  os = {
    type         = "hvm"
    type_arch    = "x86_64"
    type_machine = "q35"
  }

  devices = {
    disks = [
      {
        source = {
          volume = {
            pool   = libvirt_pool.k8s_pool.name
            volume = libvirt_volume.vm-worker1.name
          }
        }
        target = {
          bus = "virtio"
          dev = "vda"
        }
        driver = {
          type = "qcow2"
        }
      },
      {
        device = "cdrom"
        source = {
          volume = {
            pool   = libvirt_pool.k8s_pool.name
            volume = libvirt_volume.vm-worker1-cloudinit.name
          }
        }
        target = {
          bus = "sata"
          dev = "sda"
        }
      }
    ]

     interfaces = [
      {
        type  = "network"
        model = { type = "virtio" }
        source = {
          network = {
            network = "default"
          }
        }
      }
    ]
  }

  running = true
}

resource "libvirt_domain" "worker2" {
  name   = "k8s-worker2"
  memory = 2097152 
  vcpu   = 2
  type   = "kvm"

  os = {
    type         = "hvm"
    type_arch    = "x86_64"
    type_machine = "q35"
  }

  devices = {
    disks = [
      {
        source = {
          volume = {
            pool   = libvirt_pool.k8s_pool.name
            volume = libvirt_volume.vm-worker2.name
          }
        }
        target = {
          bus = "virtio"
          dev = "vda"
        }
        driver = {
          type = "qcow2"
        }
      },
      {
        device = "cdrom"
        source = {
          volume = {
            pool   = libvirt_pool.k8s_pool.name
            volume = libvirt_volume.vm-worker2-cloudinit.name
          }
        }
        target = {
          bus = "sata"
          dev = "sda"
        }
      }
    ]

     interfaces = [
      {
        type  = "network"
        model = { type = "virtio" }
        source = {
          network = {
            network = "default"
          }
        }
      }
    ]
  }

  running = true
}

oke akan saya jelaskan tentang bagian script compute ini atau pembuatan domain dalam konteks libvirt ini sebenarnya vm atau node dalam virtualbox

resource "libvirt_domain" "master" {
  name   = "k8s-master"
  memory = 2097152 
  vcpu   = 2
  type   = "kvm"

  os = {
    type         = "hvm"
    type_arch    = "x86_64"
    type_machine = "q35"
  }

  devices = {
    disks = [
      {
        source = {
          volume = {
            pool   = libvirt_pool.k8s_pool.name
            volume = libvirt_volume.vm-master.name
          }
        }
        target = {
          bus = "virtio"
          dev = "vda"
        }
        driver = {
          type = "qcow2"
        }
      },
      {
        device = "cdrom"
        source = {
          volume = {
            pool   = libvirt_pool.k8s_pool.name
            volume = libvirt_volume.vm-master-cloudinit.name
          }
        }
        target = {
          bus = "sata"
          dev = "sda"
        }
      }
    ]

     interfaces = [
      {
        type  = "network"
        model = { type = "virtio" }
        source = {
          network = {
            network = "default"
          }
        }
      }
    ]
  }

  running = true
}

jadi untuk bagian peratama yaitu menentukan nama dari domain atau node yang akan dibuat dengan nama vm-master sebagai pembeda,lalu saya set cpu dan memory ram masing masing 2,cpu 2 dan ram 2 gb dan harus menggunakan format byte karena dalam docsnya memang begitu tidak bisa dalam gigabyte harus dalam byte nurut aja saya mah heheh :V, lalu ada type dari domain saya set kvm karena disini saya menggunakan KVM sebagai hypervisornya,lalu masuk ke bagian device saya mengarahkan ke resource yang tadi sudah dibuat di prep.tf untuk disknya diarahkan kesana, dan juga ada cloudinit sama halnya dengan disk saya arahkan ke tempat pemyimpanan cloud sesuai dengan vm atau domain masing-masing misalkan saya membuat vm-master saya mengarahkannya ke libvirt_volume.vm-master-cloudinit.name,dan juga tidak lupa untuk poolnya arahkan ke pool yang sudah dibuat juga di prep.tf agar semua node atau domain berada didalam satu pool dan tidak terpecah kemana-mana,untuk network saya mengikuti sesuai dengan docsnya yang ada di github di bagian examples/two_vms_with_cloudinit.tf difile itu dibagian paling bawah terdapat example penggunaan untuk configrasi network sisanya sama saja hanya mengulang code,okeh jika sudah bisa langsung menggunakan command

terraform plan

kenapa harus menggunakan terraform plan terlebih dahulu? karena untuk memastikan tidak ada error yang akan terjadi sebelum membuat keputusan untuk apply terraform jika sudah gunakan command

terraform apply

jika sudah maka akan ada output yang akan meminta konfirmasi seperti ini

asdfbknj

jika ada output seperti itu langsung saja ketik yes agar terraform seger mengeksekusi tugasnya

aodiusguh

tunggu hingga selesai jika sudah maka akan ada output seperti ini

augfwrfr

jika ada output seperti diatas maka selamat terraform sudah berhasil mengeksekusi semua tasknya dah domain atau node sudah ada,masuk ke wsl untuk verifikasi apakah ada node atau domain yang sudah dibuat gunakan command

virsh list --all

untuk mengecek apakah ada node atau domain yang sedang berjalan

asojfvgus

jika ada output dari commandnya itu berarti semua sudah berjalan dengan baik sekarang cek apakah node sudah berhasil mendapatkan ip gunakan command

virsh net-dhcp-leases default

jika sudah maka akan ada output seperti ini

adiotgh

Setup Kubernetes

sebelum masuk ke playbook ubah inventory terlebih dahulu menjadi seperti ini

rizky@rizki:~/k8s$ cat inventory 
[Jenkins]
rizky ansible_host=ip-laptop2 ansible_user=rizky ansible_password=$your-password

[masters]
k8s-master ansible_host=ip-node-master ansible_user=ubuntu ansible_password=$your-password

[workers]
k8s-worker1 ansible_host=ip-node-worker1 ansible_user=ubuntu ansible_password=$your-password
k8s-worker2 ansible_host=ip-node-worker2 ansible_user=ubuntu ansible_password=$your-password


[all:vars]
ansible_ssh_common_args='-o ProxyJump=rizki@ip-laptop1 -o StrictHostKeyChecking=no'

nantinya laptop 2 akan melakukan ssh jump ke laptop 1 lalu laptop 1 akan meneruskan ssh dari laptop 2 ke domain atau node-node yang sudah di buat masuk ke folder k8s lagi lalu buat playbook untuk installasi k8s,playbook pertama

vim playbook-swap-native.yaml
|
- name: disable swap permanent
  hosts: masters,workers
  become: yes
  tasks:
    - name: comment out entri swap di fstab
      ansible.builtin.replace:
        path: /etc/fstab
        regexp: '^([^#\n].*\sswap\s.*)$'
        replace: '# \1'
        backup: yes
    - name: disable swap sekarang
      ansible.builtin.command: swapoff -a
      when: ansible_swaptotal_mb > 0

playbook diatas merupakan playbook untuk membuat swap mati secara permanent,dengan mencari regex dari path file tertentu misal dengan menggunakan regexp kita bisa mencari pola baris tertentu dengan membuat baris

regexp: '^([^#\n].*\sswap\s.*)$'

lalu nantinya akan direplace atau gantikan dengan

replace: '# \1'

modul ansible.builtin.replace mencari baris swap di /etc/fstab dengan regex, lalu menambahkan # di depannya supaya swap tidak aktif lagi setelah reboot, trus untuk task selanjutnya itu gunakan swapoff -a sebagai task yang akan memastikan swap benar benar mati meskipun node di reboot,gunakan modul ansible.builtin.command agar bisa menggunakan perintah swapoff -a dan gunakan when agar memiliki nilai idempotent jika sudah maka gunakan command

ansible-playbook playbook.yaml
|
ansible-playbook playbook-swap-native.yaml

selanjutnya yaitu untuk menambahkan port yang nantinya akan digunakan oleh kubernetes

vim playbook-allow-port-native.yaml
|
- name: activate ufw
  hosts: masters,workers
  become: yes

  tasks:
    - name: allow port for ssh
      community.general.ufw:
        port: 22
        rule: allow
        proto: tcp
    - name: allow port for CNI plugin (use case flannel)
      community.general.ufw:
        port: 8472
        rule: allow
        proto: udp

- name: allow port
  hosts: workers
  become: yes

  tasks:
    - name: allow port
      community.general.ufw:
        port: 30000:32767
        rule: allow
        proto: tcp
    - name: allow port 2
      community.general.ufw:
        port: 10250
        rule: allow
        proto: tcp

- name: allow port2
  hosts: masters
  become: yes

  tasks:
    - name: allow port2
      community.general.ufw:
        port: 10257:10259
        rule: allow
        proto: tcp
    - name: allow-port2
      community.general.ufw:
        port: 6443
        rule: allow
        proto: tcp
    - name: allowport2
      community.general.ufw:
        port: 2379:2380
        rule: allow
        proto: tcp
- name: daemon-reload
  hosts: masters,workers
  become: yes

  tasks:
    - name: daemon-reload
      ansible.builtin.systemd_service:
        daemon_reload: true

- name: enable ufw
  hosts: masters,workers
  become: true

  tasks:
    - name: set default forward policy ke allow
      community.general.ufw:
        default: allow
        direction: routed

    - name: Ensure UFW is activated and enabled
      community.general.ufw:
        state: enabled

pada playbook kali ini saya membuat sebuah perbaikan dan untuk postingan iac yang ini,pada postingan ini sebelumnya saya malah melakukan kesalah kedua yaitu menggunakan modul ansible.builtin.firewalld yang dimaan itu merupakan bawaan rhel dan malah saya gunakan jadinya saya perbaiki lagi sekarang sudah diperbaiki,untuk detail errornya nanti saya tulis di error post,di playbook allow port yang baru terdapat 5 play,untuk play pertama berisi task untuk mengizinkan ssh agar allow dan diizinkan oleh ufw sebagai firewall task selanjutnya yaitu untuk allow cni port agar nantinya node k8s bisa saling komunikasi dan di case ini saya menggunakan flannel jadinya saya allow port flannel,lalu masuk ke play selanjutnya yaitu port yang dibutuhkan oleh workers agar nantinya service bisa di akses jika menggunaak nodeport service dan task selanjutnya untuk kubelet,masuk ke play 3 untuk play ini khusus master jadinya semua port yang akan dibutuhkan master node akan ada disini,seperti 6443 untuk api,dll,masuk ke play selanjutny yaitu play reload daemon agar nantinya systemd bisa mereload semua config yang sudah di terapkan tadi,masuk ke play terakhir yaitu ufw enable agar semua rule tadi bisa berfungsi karena ufw aktifjika sudah maka masuk ke penjelasannya nah dalam playbook ini terdapat jika sudah gunakan command

ansible-playbook playbook.yaml
|
ansible-playbook playbook-allow-port-native.yaml

masuk ke playbook untuk menambahkan dns hosts name,nah untuk lebih mempermudah node agar saling mengenal satu sama lain saya akan membuat sebuah playbook yang berfungsi untuk menambahkan dns hosts langsung saja masuk ke playbooknya

vim playbook-ip-native.yaml
|
- name: adding diffrent ip for node
  hosts: masters,workers
  become: yes

  tasks:
    - name: add ip
      ansible.builtin.blockinfile:
        path: /etc/hosts
        block: |
           ip-node1 master
           ip-node2 worker1
           ip-node3 worker2
        create: yes

saya menggunakan module block in file agar saya bisa menulis banyak baris di /etc/hosts nya dari pada saya harus menulis satu per satu baris,meskipun menggunakan block in file itu terdapat baris seperti ini

# BEGIN ANSIBLE MANAGED BLOCK
192.168.2.35 node1
192.168.2.36 node2
192.168.2.37 node3
# END ANSIBLE MANAGED BLOCK

tapi bukan masalah besar karena baris itu sudah menjadi sebuah comment dan tidak akan berpengaruh apapun,yah meskipun kurang menarik secara penampilan nammun ya balik lagi inikan terminal bukan gui :v jika sudah gunakan command

ansible-playbook playbook.yaml
|
ansible-playbook playbook-ip-native.yaml

oke playbook selanjutnya bagian config beberapa modul tambahan seperti set sysctl dan modprobe,langsung saja masuk ke playbooknya

vim playbook-config-native.yaml
|
- name: do a configuration
  hosts: masters,workers
  become: yes

  tasks:
    - name: set a module for modprobe
      community.general.modprobe:
        name: ""
        state: present
        persistent: present
      loop:
        - overlay
        - br_netfilter
    - name: set sysctl untuk kubernetes
      ansible.posix.sysctl:
        name: ""
        value: '1'
        sysctl_file: /etc/sysctl.d/k8s.conf
        sysctl_set: true
        reload: true
      loop:
        - net.bridge.bridge-nf-call-iptables
        - net.ipv4.ip_forward
        - net.bridge.bridge-nf-call-ip6tables

diplaybook ini hanya ada satu play dan task pertama yaitu load module agar k8s dan containerd bisa berjalan dengan aman dan tanpa adanya error atau kesalahan ketika nantinya proses installasi k8s dan containerd selesai,lalu nantinya module di load secara permanen agar ketika node reboot module tidak hilang,masuk ke task selanjutnya yaitu ssyctl untuk masalah network yang nantinya bisa diteruskan ke iptables dan berlaku untuk ipv4 dan ipv6,dan load module modprobe harus di run terlebih dahulu agar task sysctl bisa berjalan,jika sudah gunakan command

ansible-playbook playbook-name.yaml
|
ansible-playbook playbook-config-native.yaml

ekarang masuk ke bagian playbook untuk installasi cri atau container runtime interface,disini saya memakai containerd sebagai cri

vim playbook-pkg-native.yaml
|
- name: install cri
  hosts: masters,workers
  become: yes
  tasks:
    - name: Install prerequisite packages
      ansible.builtin.apt:
        name:
          - apt-transport-https
          - ca-certificates
          - curl
          - gnupg
          - lsb-release
        state: present
        update_cache: yes

    - name: Ensure keyrings directory exists
      ansible.builtin.file:
        path: /etc/apt/keyrings
        state: directory
        mode: "0755"

    - name: Download Docker GPG key
      ansible.builtin.get_url:
        url: https://download.docker.com/linux/ubuntu/gpg
        dest: /etc/apt/keyrings/docker.asc
        mode: "0644"

    - name: Add Docker repository
      ansible.builtin.apt_repository:
        repo: "deb [arch=amd64 signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu    stable"
        filename: docker
        state: present
        update_cache: yes
    - name: install containerd
      ansible.builtin.apt:
        name: containerd.io
        state: present
    - name: Create a directory if it does not exist
      ansible.builtin.file:
        path: /etc/containerd
        state: directory
        mode: "0755"
        owner: root
        group: root
    - name: take default config containerd
      ansible.builtin.command: containerd config default
      register: containerd_default
      changed_when: false

    - name: write config containerd (SystemdCgroup=true)
      ansible.builtin.copy:
        content: "\n"
        dest: /etc/containerd/config.toml
        owner: root
        group: root
        mode: "0644"
      notify: Restart containerd
    - name: Enable service
      ansible.builtin.systemd_service:
        name: containerd
        enabled: true
        masked: no
  handlers:
    - name: Restart containerd
      ansible.builtin.systemd_service:
        name: containerd
        state: restarted

untuk bagian playbook install containerd hanya ada satu play tapi terdiri dari beberapa task,task pertama installasi semua requirment yang akan dibutuhkan untuk installasi containerd,lalu masuk ke task selanjutnya yaitu membuat directory dimana nantinya key yang diambil dari repo docker disimpan,tentunya key ini menjadi salah satu bagian penting ,lalu task selanjutnya yaitu mendowload key dari url yang resmi yaitu dari docker, task selanjutnya yaitu untuk mendaftarkan repo dan mengarahkan apt memverifikasi paket dengan key tersebut,task selanjutnya yaitu installasi dari containerd dengan menggunakan modul apt karena dua task sebelumnya adalah kunci dari installasi jadi task ini hanya menginstall continerd saja oh ya dan saya disini menggunakan container.io,oke masuk ke task selanjutnya yaitu membuat directory untuk config toml containerd,supaya nantinya containerd bertindak sebagai cri sepenuhnya dan k8s membutuhkan containerd sebagai cri nah jika config dibiarkan default maka containerd tidak bertindak sebagi cri dan plugin tidak aktif,maka dari itu sesuai docs config default harus di re-write agar fungsinya sebagai cri akan berjalan

config default -> tidak memiliki atau tidak mengaktifkan fungsi cri / pluggin cri
re-write config -> bisa mengaktifkan fungsi atau plugin cri

kurang lebih begitu,oke masuk ke task selanjutnya yaitu re-write config atau membuat config baru lalu simpan stdout nya ke sebuah variable,masuk ke task selanjutnya di task ini stdout di edit dengan mengambil stdout dari variable tadi lalu ubah dengan mencari regex

 regex_replace('SystemdCgroup = false', 'SystemdCgroup = true') }}\n

di baris ini systemdcgroup di ubah dari false ke true,ini penting karena mengikuti k8s config di k8s nanti kubelet berjalan dengan systemdcgroup=true,makanya ini dibutuhkan agar k8s berjalan dengan baik,dan ada notify yang nantinya bisa mentrigger handler untuk melakukan restart containerd untuk menload config baru tapi ingat bahwa notify hanya akan berjalan jika saja task “changed” itu berarti jika task tidak change notify tidak akan mentrigger handler dan juga handler berjalan diakhir,dan task terakhir yaitu enable containerd gunakan command

ansible-playbook playbook-name.yaml
|
ansible-playbook playbook-pkg-native.yaml

untuk selanjutnya yaitu installasi kubernetes langsung saja

vim playbook-kubernetes-native.yaml
|
- name: install kubernetes package
  hosts: masters,workers
  become: yes

  tasks:
    - name: Ensure keyrings directory exists
      ansible.builtin.file:
        path: /etc/apt/keyrings
        state: directory
        mode: "0755"
    - name: install gpg key for kubernetes
      ansible.builtin.get_url:
        url: https://pkgs.k8s.io/core:/stable:/v1.28/deb/Release.key
        dest: /etc/apt/keyrings/kubernetes-apt-keyring.asc
        mode: "0644"
    - name: adding file
      ansible.builtin.apt_repository:
        repo: "deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.asc] https://pkgs.k8s.io/core:/stable:/v1.28/deb/ "
        filename: kubernetes
        state: present
        update_cache: yes
    - name: install 3 main component
      ansible.builtin.apt:
        name: ""
        state: present
      loop:
        - kubelet
        - kubeadm
        - kubectl
    - name: enable kubelet
      ansible.builtin.systemd:
        state: started
        enabled: yes
        name: kubelet

oke masuk ke playbook installasi k8s,diplaybook ini hanya ada satu play ditask pertama seperti biasa membuat directory untuk menyimpan key ya meskipun di playbook tadi sudah tapi kan beda host heheh:),oke lanjut ke task selanjutnya untuk mendownload key dari url resmi k8s lalu menyimpannya ke directory yang sudah dibuat tadi,masuk ke task salnjjutnya yaitu agar apt memverifikasi paket menggunakan key yang sudah disimpan tadi dan task selanjutnya tinggal melakukan installasi paket saja karena key dan paket sudah terverifikasi kubelet,kubeadm,kubectl,dan task terakhir enable kubelet,gunakan coomand

ansible-playbook playbook-name.yaml
|
ansible-playbook playbook-kubernetes-native.yaml

jika sudah masuk ke playbook terakhir yaitu untuk join kubernetes

vim playbook-join-native.yaml
|
- name: join to cluster
  hosts: masters
  become: yes

  tasks:
    - name: pre pull image k8s
      ansible.builtin.command: kubeadm config images pull
      changed_when: false
    - name: init
      ansible.builtin.command: kubeadm init --apiserver-advertise-address=ip-node-master --pod-network-cidr=10.244.0.0/16 --node-name=$node1 --apiserver-cert-extra-sans=127.0.0.1,ip-laptop1
      args:
        creates: /etc/kubernetes/admin.conf
    - name: Buat join command
      ansible.builtin.command: kubeadm token create --print-join-command
      register: join_command_output
      changed_when: false
    - name: join command
      set_fact:
        join_command: ""

- name: workers join to cluster
  hosts: workers
  become: yes
  tasks:
    - name: join cluster
      ansible.builtin.shell: ""
      args:
        creates: /etc/kubernetes/kubelet.conf

jika sudah gunakan command

ansible-playbook playbook.yaml
|
ansible-playbook playbook-join-native.yaml

kijsrvkn

task pertama yaitu untuk menarik config image agar proses init tidak terlalu lama atau memakan banyak sekali waktu hingga bisa time out dan proses init bisa eror,selanjutnya saya mengunakan builtin command untuk melakukan init di kubernetes karena saya sebelumnya sudah melakukan penarikan image agar proses init tidak memakan waktu terlalu lama,jadinya untuk proses init bakalan lebih singkat,di task berikutnya saya melakukan generate token dengan menggunakan modul command trus saya simoan di variable bernama join_command_output,setelah itu di task berikutnya saya gunakan set fact,agar nantinya bisa di gunakan di task lainnya,masuk ke play kedua dimana semua node akan join ke kubernetes,di sini saya menggunakan modul command untuk melakukan join,sama seperti di projek sebelumnya play kedua itu adalah join commandnya untuk di play ini khusus worker saja, si worker akan bertanya ke master “apakah ada variable yang bernama join_command_output? jika ada aku mau menggunakannya!!” kurang lebih seperti itu dari task di play 2 jika sudah gunakan command untuk membuat sebuah directory khusus kubernetes di home gunakan command

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

jika sudah install cni untuk network saya menggunakan flannel

kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

cek apakah node sudah berhasil join gunakan coomand

kubectl get nodes

aosdj

SETUP NGROK

Dikarenakan gitlab yang saya pakai itu adalah gitlab web jadinya gitlab perlu mengakses ke ip vm saya sedangkan vm saya adalah local jadinya saya perlu sesuatu agar gitlab bisa mengakses vm saya maka saya akan menggunakan ngrok disini install ngrok,jika sudah terinstall ambil token auth ngrok dengan masuk ke websitenya,jika sudah masuk dan login masuk ke your auth token

logoo1

kurang lebih seperti ini tampilannya,copy lalu pergi ke terminal jenkins llau ketik command ini

ngrok config add-authtoken <token>

ganti token dengan auth token yang tadi di copy lalu jalankan ngrok dengan command

ngrok http 9091

arahkan ke port dimana jenkins berjalan agar nantinya bisa melakukan webhook,jika sudah maka akan ada output seperti ini

logoo9

simpan link yang diberikan nantinya akan di pakai untuk webhook

SETUP GITLAB

Pada tahap ini saya akan mensetup atau configurasi gitlab untuk nantinya bisa terhubung dengan node, pertama-tama buat keybaru untuk user jenkins lalu simpan di direktori user yang sebelumnya sudah di buat

sudo -u jenkins ssh-keygen -t rsa -b 4096 -C "jenkins@your-vm" -f /var/lib/jenkins/.ssh/id_rsa -N ""

ganti @your-vm jadi ip dari vm dan arahkan ke direktori folder user jenkins

logo12

jika sudah buat file ssh-key yang baru saja dibuat

sudo cat /var/lib/jenkins/.ssh/id_rsa.pub

jika tidak bisa menggunakan command diatas masuk terlebih dahulu sebagai root lalu buka filenya

idhgs

kurang lebih seperti ini nah jika sudah lalu copy semua outputnya lalu pergi ke browser lalu ketik gitlab,pastikan punya akun gitlabnya setelah itu login lalu pergi ke edit profile setelah itu masuk ke menu ssh-key di sebelah kiri

logo13

kurang lebih seperti diatas menu di bagian ssh-key,nah setelah itu klik add new key,paste yang sudah di copy tadi lalu tambahkan title misal auth lalu set ke authentication & signing setelah itu set expiration datenya bebas terserah kamu

logo02

jika sudah klik tombol add

asdsg

setelah itu test apakah jenkins sudah terhubung dengan gitlab dengan command

sudo -u jenkins ssh -T git@gitlab.com

kurang lebih outputnya seperti ini

logo01

jika output sama seperti diatas selamat karena gitlab sudah berhasil terhubung dengan jenkins

Copy KubeConfig To Jenkins

Masuk ke bagian yang agak tricky yaitu proses copy kubeconfig agar nantinya jenkins atau laptop 2 bisa mengakses cluster kubernetes yang berada di dalam wsl2 di laptop ,oke tanpa berlama- lama lansung saja pertama-tama tambahkan tunneling difile config

vim .ssh/config
|
Host hype-r
    HostName ip-laptop1
    User rizki
    IdentityFile ~/.ssh/id_rsa
    LocalForward 6443 ip-master-node:6443

untuk penambahan dari file config cukup tambahkan sepertidiatas saja ada bagian local forward untuk bagian laptop 1 atau hype-r,kenapa harus menambahkan tunneling seperti ini? karena nantinya tunneling berfungsi sebagai terowongan akses agar jenkins atau laptop2 bisa mengakses cluster menggunakan comamnd kubectl get nodes,jika sudah masuk ke bagian selanjutnya yaitu copy paste kubeconfig yang ada di master node tinggal ssh saja

ssh k8s-master

karena sudah set nama node master di config dengan nama k8s-master tinggal ssh dengan nama itu,trus buka file kubeconfig

cat .kub/config

copy semua output dari file itu lalu pindahke terminal laptop 2 buat sebuah folder dan file yang nantinya akan jadi tempat dari kubeconfig

sudo mkdir -p /var/lib/jenkins/.kube
sudo chown -R jenkins:jenkins /var/lib/jenkins/.kube 

oke folder sudah bagian membuat file config

sudo vim /var/lib/jenkins/.kube/config

pastekan semua output yang sudah di copy tadi kedalam file config jika sudah keluar,jika sudah tinggal set bagian ip server dari config yang ada di dalam laptop 2

sudo -u jenkins kubectl config set-cluster kubernetes --server=https://127.0.0.1:6443

lalu jika sudah coba lakukan testting tunneling dari laptop 2 ke node master yang ada di laptop 1

ssh -L 6443:ip-node-master:6443 rizki@ip-laptop1 -N &

lalu jika sudah coba testing untuk akses dari si laptop 2

sudo -u jenkins kubectl get nodes

maka akan ada output seperti ini

asfdgbyo

Test

memasuki tahap akhir yaitu tahap testing apakah sistem yang dibangun benar-benar berfungsi sebagaimana semestinya,langsung saja masuk ke dalam tahapnya pertama-tama buka gitlab web lali login dengan akun yang dimiliki,setelah itu buat projek didalam halaman gitlab

ifshifeivj

klik new projek yang berada di pojok kanan atas didalam gambar setelah itu

dskdfuhs

klik black project nanitnya akan diarahkan ke halaman seperti ini

aijaijc

isi semua kolom mulai dari nama repository lalu url dari repository dan set repository projek ke dalam public jika sudah create project lalu buka vscode dan buke terminal baru, copy url dari repository projek tadi lalu clone gunakan command

git clone https://url-repo

jika sudah melakukan clonening bisa masuk kedalam directory dari repo yang baru saja di clone lalu buat sebuah Jenkinsfile

vim Jenkinsfile
|
pipeline {
    agent any
    stages {
        stage('Test Webhook') {
            steps {
                echo 'Webhook triggered successfully!'
                sh 'ls -la'
            }
        }
    }
}

isi Jenkinsfile hanya sementara untuk melakukan testing terlebih dahulu,oke jika sudah keluar dari terminal lalu pindah ke terminal laptop 2 untuk mengaktifkan tunneling dengan ngrok gunakan command

ngrok http 9091

dan biarkan terminal tetap terbuka agar tunneling tetap berjalan

adsfkjh

jika sudha buka ke browser masuk ke jenkins dashboard

ip-node:9091

ketik ip dari node jenkins atau laptop 2 lalu port dimana jenkins berjalan biasaanya default port untuk jenkins ialah 8080 akan ada tampilan dashboard seperti ini

fjdsheaijps

oke langsung saja buat new item

aihdsvu

langsung saja buat item dengan tipe pipeline lalu klik ok untuk membuat itemnya atau pipelinenya

soijoc

scroll saja langsung kebawah kebagian build when change lalu isi kotak atau checklist bagian itu setelah itu

isudhf

jika sudah scroll ke bawah lalu klik generate secret token copy token itu lalu pindah ke gitlab lagi kebagian settings dan pilih menu webhook dibagian menu webhook

osfgi

pilih add new webhhook lalu isi kolom seperti url,name dan secret token yang paling penting dan untuk url ganti dengan url yang diberikan ngrok lalu pastekan url tersebut ditambah home folder dari projek yang tersimpan misal

url-ngrok/project/nama-pipeline

oivsfuhd

jika sudah isi semua bagian di bawah checklist semua bagian lalu unchecklist bagian enable ssl.Jika sudah klik add webhook pindah lagi ke dashboard jenkins scroll kebagian bawah kebgaian pipeline lalu ganti definition pipelinenya menjadi pipeline script from SCM

sijdfuhv

lalu isi kolom repository menggunakan url repo dan bagian credentials isi dengan credentials yang sebelumnya sudah dibuat lalu ganti branch sesuai dengan yang ada di repository disini saya ganti ke main lalu save,pindah ke terminal laptop 1 yang sebelumnya dipakai untuk clone repository langsung saja test trigger dengan push ke main branch

git add .
git commit -m "add file"
git push origin main

tunggu hingga proses selesai lalu check ke dashboard jenkins lagi untuk memeriksa apakah pipeline berjalan

aruwiehv

oke jika sudah berjalan maka sistem sudah berjalan dengan normal

Deploy

Oke karena testing sudah berjalan dan ternyata sistemnya jalan dengan normal sekarang bagian deployment time langsung saja buka terminal laptop 1 yang ada directory reponya lalu buat sebuah file manifest kube

vim kube.yaml
|
apiVersion: apps/v1
kind: Deployment
metadata:
  name: apps1
  labels:
    apps1: test
spec:
  replicas: 1
  selector:
    matchLabels:
      apps1: test
  template:
    metadata:
      labels:
        apps1: test
    spec:
      containers:
        - name: nginx
          image: nginx
          ports:
            - containerPort: 80


---
apiVersion: v1
kind: Service
metadata:
  name: apps1-service
spec:
  selector:
    apps1: test
  ports:
    - port: 80
      targetPort: 80
      nodePort: 30000
      protocol: TCP
  type: NodePort

oke karena sudah dengan pembuatan file kube tinggal update bagian Jenkinfile

vim Jenkinsfile
|
pipeline {
    agent any
    stages {
        stage('Test Webhook') {
            steps {
                echo 'Webhook triggered successfully!'
                sh 'ls -la'
                sh 'kubectl apply -f kube.yaml' <--- tambah ini
            }
        }
    }
}

oke jika sudah keluar dari vim lalu seperti biasa push ke repository

git add .
git commit -m "add file"
git push origin main

tunggu hingga proses push selesai lalu check kembali ke jenkins dashboard

dskfuhd

output seperti diatas deployment berhasil dilakukan sekarang check di node master

sdoifduuh

Setup OBSERV TOOLS

Oke masuk ke tahap pertama dari proses ini yaitu Oke masuk ke tahap pertama dari proses ini yaitu membuat namespace agar semua pods bisa berjalan didalam namespace

kubectl create namespace monitoring

lanjut setup helm untuk melakukan installasi plg stack pertama-tama buat sebuah file playbook

  vim observ-native.yaml
  |
- name: install observ tools
  hosts: masters
  become: yes

  tasks:
    - name: install helm
      ansible.builtin.get_url:
        url: https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
        dest: /home/ubuntu/helm.sh
        mode: "0700"

    - name: execute sh file
      ansible.builtin.shell: /home/ubuntu/helm.sh
      args:
        creates: /usr/local/bin/helm
      environment:
        DESIRED_VERSION: "v3.22.0"
    - name: Add a repository
      kubernetes.core.helm_repository:
        name: prometheus-community
        repo_url: https://prometheus-community.github.io/helm-charts
    - name: Deploy latest version of Grafana chart inside monitoring namespace with values
      kubernetes.core.helm:
        name: prometheus
        chart_ref: prometheus-community/kube-prometheus-stack
        chart_version: "65.1.0"
        release_namespace: monitoring
        update_repo_cache: true
        kubeconfig: /home/ubuntu/.kube/config

di playbook installati observ pertama itu hanya ada satu play dan terdiri dari beberapa task yang terpisah,jadi di task pertama itu untuk mendownload file script helm dengan menggunakan module get url,lalu di task kedua menggunakan module shell untuk execute file sh,lalu dengan menggunaakn create maka nilai idempotent tetap ada,masuk ke task selanjutnya yaitu menambahkan repo dari prometheus dengan menggunakan module helm_repository,masuk ke task terakhir yaitu task untuk melakukan installasi prometheus dengan menggunakan module core helm,karena tadi sudah menambahkan repo dari prometheus community jadinya di task ini tinggal,install dari repo yang sudah di tambahkan,saya menggunakan charts prometheus-community/kube-prometheus-stack dengan versi charts yang stabil untuk k8s versi 1.28,lalu masukan ke namspace monitoring yang sudah dibuat sebelumnya dengan dan path dari kubeconfig,karena playbook dijalankan dengan permission root jadinya helm akan kebingungan mencari dimana kubeconfig jadinya beri absolute path dari kubeconfig

ansible-playbook playbook.yaml
|
ansible-playbook observ-native.yaml

playbook diatas melakukan installasi untuk helm dan untuk melakukan installasi dari prometheus community,di task pertama

kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.30/deploy/local-path-storage.yaml

jadikan storage itu sebagai default

kubectl patch storageclass local-path -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'

selanjutnya yaitu instlaasi dari loki,grafana

vim observ_2-native.yaml
|
- name: install loki
  hosts: masters
  become: yes
  tasks:
    - name: Add a repository
      kubernetes.core.helm_repository:
        name: grafana
        repo_url: https://grafana.github.io/helm-charts
    ###  saya meminta claude untuk memasukan semua nilai --set dari playbook lama di satu task ini karena memang beanr benar membingungkan
    - name: Deploy Loki (single binary)
      kubernetes.core.helm:
        name: loki
        chart_ref: grafana/loki
        chart_version: "6.55.0"
        release_namespace: monitoring
        create_namespace: true
        update_repo_cache: true
        kubeconfig: /home/ubuntu/.kube/config
        values:
          deploymentMode: SingleBinary
          loki:
            commonConfig:
              replication_factor: 1
            storage:
              type: filesystem
            schemaConfig:
              configs:
                - from: "2024-04-01"
                  store: tsdb
                  object_store: filesystem
                  schema: v13
                  index:
                    prefix: loki_index_
                    period: 24h
          singleBinary:
            replicas: 1
            persistence:
              enabled: true
              size: 5Gi
          read:
            replicas: 0
          write:
            replicas: 0
          backend:
            replicas: 0
    - name: Deploy latest version of Grafana/promtail chart inside monitoring namespace with values
      kubernetes.core.helm:
        name: promtail
        chart_ref: grafana/promtail
        chart_version: "6.17.1"
        release_namespace: monitoring
        update_repo_cache: true
        kubeconfig: /home/ubuntu/.kube/config
        values:
          config:
            clients:
              - url: http://loki:3100/loki/api/v1/push

gunakan command

ansible-playbook
|
playbook observ_2-native.yaml

diplaybook kedua untuk obesrv ini akan menginstall loki binary dan promtail terdapat satau play dan tiga task,di task pertama akan menambahkan repo dari loki menggunakan module helm_repo lalu ditask kedua melakukan deployment dari repo yang sudah ditambahkan ditask sebelumnya dengan chart yang dideploy berupa grafana/loki dengan versi v6.55.0 asumsi bahwa ini versi stabil dengan k8s versi 1.28 lalu di deploy ke namespace monitoring dengan menggunakan kubeconfig absolute path dan ada beberapa values yang bisa saya jelaskan seperti deployment mode berupa single binary karena memang yang akan saya gunakan adalah single binary mode dan ada banyak lagi hal yang tidak bisa saya jelaskan karena terlalu panjang,masuk ke task selanjutnya sama seperti task installasi loki task ini melkukan installasi promtail dengan chart grafana/promtail dengan versi v6.17.1 asumsi saya ini versi yang stabil untuk k8s 1.28 sisaya sama tapi dipromtail ini ada url yang dimana url itu adalah tempat promtail mengambil data dari loki,tunggu hingga proses installasi selesai jika sudah jangan langsung masuk ke browser untuk mengakses si dashboard karena tidak bisa langsung mengakses dashboard dibutuhkan tunneling dan port fordward terlebih dahulu tapi sebelum itu buka wsl dan install socat terlebih dahulu gunakan command

apt-get install -y socat

oke karena socat sudah terinstall lalu selanjutnya gunakan command ini

di node-master
|
kubectl port-forward svc/prometheus-grafana 3001:80 -n monitoring --address=0.0.0.0 &

dan

di wsl
|
socat TCP-LISTEN:8884,bind=0.0.0.0,fork TCP:ip-node-master:3001 &

nah kenapa harus sekali melakukan tunneling dan port forward seperti ini karena layer dari infrastructure kali ini itu benar benar cukup rumit untuk user agar langsung bisa mengakses semua dashboard,jadinya disini perlu membypass semua network layer yang ada dan nantinya untuk memeriksa alertmanager juga perlu bypass sekali lagi oke jika sudah bisa langsung di cek

http://localhost:8884

jika sudah seharusnya akan muncul untuk opsi login

asdosvfuh

oke jika sudah ada tampilan login seperti ini masukan

username = admin

dan untuk passowrd nya gunakan output dari command berikut

kubectl get secret prometheus-grafana -n monitoring -o jsonpath="{.data.admin-password}" | base64 -d
echo

jika sudah akan di bawa ke dashboard dari si prometheus seperti ini

sadsifjuh

oke jika sudah berjalan dengan sempurna,tahap selanjutnya yaitu pembuatan dari tabel untuk menyajikan data pertama-tema pergi ke connection lalu data source setelah itu akan ada tampilan seperti ini

asdoij

tampilan diatas akan menunjukan berapa data source yang dimiliki misal ada prometheus default bawaan dari sistem lalu juga ada alter manager sama seperti prometheus default bawaan dari sistem,selanjutnya klik add new data source tombol berwarna biru

adfbh

jika sudah akan diarahkan ke menu seperti diatas,isi url dari data source yang akan ditambahkan dengan url default dari prometheus dan port dari prometheus,atau bisa saja isi dengan prometheus saja lalu tambahkan port dibelakangnya setelah itu scroll ke bawah

asldjfty

sampai di bagian bawah klik tombol save and test jika sudah keluar ke menu data source lagi

ladsfhyg

tambahkan data dari loki untuk collect semua metrics dan log dari node exporter untuk loki cukup isi url dengan loki:3100 setelah itu scroll ke bawah dan klik tombol save and test

loijuh

jika sudah semua berarti proses menambahkan data source sudah selesai sekarang masuk ke bagian selanjutnya yaitu menampilkan data menjadi sebuah dashboard agar semua informasi bisa di visualisasikan,pindah dari data source ke bagian dashboard

lkiufyh

lalu klik bagian new dan akan muncul dua opsi pilih import dashboard ,pilih import dashboard

paoidfy

akan di bawa ke halam seperti ini isi opsi kedua atau bagian kedua dari 3 opsi yang tersedia lalu isikan kode 1860 untuk full import jika sudah klik load

odiftry

lalu akan di bawa ke menu seperti diatas,cukup baiarkan saja default ,/ itu typo saya tidak sengaja kepencet,jika sudah klik import

pldifr

jika sudah akan ada tampilan detail tenang monitoring dari sistem kamu bisa ganti di node di kolom yang ada diatas di bagian nodename bisa ganti ke nodemaster atau node worker lainnya. Oke berikutnya yaitu testing visualisasi data untuk loki masuk ke bagian explore lalu pilih data sourcenya sebagai loki,lalu pilih bagian code jika sudah

adsifhgf

masukan query untuk si loki di bagian kolom masukan seperti ini

{node_name="k8s-master"}

query diatas memeriksa kondisi dari si node master,oke loki dan prometheus sudah berjalan dengan baik untuk selanjutnya bagian setup alertmanager dan disini saya akan menggunakan telegram sebagai tools alertnya,oke buka telegram lalu masuk ke bagian search bar diatas lalu cari username dengan nama

@BotFather

jika sudah masuk ke dalam username tersebut lalu masukan command

/newbot

jia sudah masukan nama dari si bot misalkan Test-alert jika sudah sekarang masukan username dari si bot misalkan aopsnsv_bot,ingat harus wajib diakhir nya ada _bot atau engga namaBot,oke sudah selesai nantinya akan muncuk output pesan seperti ini

adfdju

catat baik-baik token yang di generate oleh claude nantinya akan dipakai untuk mengakses chat itu dari api telegram sebelum itu coba chat terlebih dahulu bebas apa saja,jika sudah dengan chatnya buka browser apa saja lalu ketik di search bar

 https://api.telegram.org/bot<TOKEN_KAMU>/getUpdates

ganti dengan token yang tadi dikasih oleh telegram

kaisvuh

coba lihat di bagian

chat":{"id": xxxxxxx}

cari bagian chat id lalu simpan baik-baik sekarang buka terminal ssh ke node master lalu buat file dengan nama alertmanager-telegram.yaml

alertmanager:
  config:
    global:
      resolve_timeout: 5m
    route:
      receiver: 'telegram-notif'
      group_by: ['alertname']
      group_wait: 30s
      group_interval: 5m
      repeat_interval: 12h
      routes:
        - matchers:
            - alertname = "Watchdog"
          receiver: 'null'
    receivers:
      - name: 'null'
      - name: 'telegram-notif'
        telegram_configs:
          - bot_token: 'BOT-TOKEN'
            chat_id: 'CHAT-ID'
            parse_mode: 'HTML'
            send_resolved: true

lakukan helm upgrade tapi sebelum itu tambahkan repository dari prometheus sebelum upgrade menggunakan helm

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update

jika sudah gunakan command

helm upgrade prometheus prometheus-community/kube-prometheus-stack --namespace monitoring --kubeconfig /home/ubuntu/.kube/config --reuse-values -f alertmanager-telegram.yaml

oke jika sudah maka masuk ke dashboard alertmanager tapi sebelum itu lakukan bypass terlebih dahulu pertama-tama

Di Wsl2
|
ssh -L 9093:localhost:9093 ubuntu@ip-node-master -N

lalu

Di Node-Master
|
kubectl port-forward svc/prometheus-kube-prometheus-alertmanager -n monitoring 9093:9093 &

oke sekarang cek di browser

localhost:9093

maka dashboardnya akan seperti ini

aldfiju

oke karena sudah bisa mengakses dashboard dari alertmanager bisa langsung untuk testing dengan menggunnakan command berikut

curl -XPOST http://localhost:9093/api/v2/alerts -H "Content-Type: application/json" -d '[{"labels":{"alertname":"TestAlertFixed","severity":"warning"},"annotations":{"summary":"Final test
setelah fix receiver null"},"startsAt":"'$(date -u +%Y-%m-%dT%H:%M:%S.000Z)'"}]'

oke jika sudah bisa untuk cek secara berkala di notifikasi handphone

oksvhd

jika ada notif dari telegram berarti semuanya sudah berhasil untuk message alertnya

kadoaiush

dan

ijfsuhvj

dan cek di dashboard alertmanager

aihcosub

Setup AWS PHASE 1

**NOTE KARENA DI DALAM BAGIAN INI MASIH DI LAPTOP 1 NANTINYA SEMUA FILE AKAN DI UPLOAD KE GIHUB LALU DI CLONE DI LAPTOP 2 ** Oke masuk ke bagian setup dari projek ini masuk ke web dari localstack lalu sign in

ashfadv

jika sudah sign in menggunakan akun google maka akan di bawa ke sebuah dashboard seperti ini

soivhfd

oke jika sudah maka akan keluar tampilan dari token nah token ini yang akan digunakan untuk menjalankan container localstak nantinya, jika sudah buka terminal lalu masuk ke wsl,jika belum ada docker install terlebuih dahulu docker,lalu run command ini untuk menjalankan container

docker run -d --name localstack   -e LOCALSTACK_AUTH_TOKEN=TOKEN-AUTH   -e PERSISTENCE=1   -e LAMBDA_DOCKER_NETWORK=bridge   -e
LOCALSTACK_HOST=localhost.localstack.cloud   -p 4566:4566   -p 4510-4559:4510-4559   -v ~/localstack-data:/var/lib/localstack   -v
/var/run/docker.sock:/var/run/docker.sock   localstack/localstack

oke jika sudah maka selamat localstack berjalan ,berikutnya yaitu setup aws cli dan aws rapper,gunakan command

pip install awscli --break-system-packages

untuk aws wrappernya agar nantinya tidak perlu menambahkan endpoint url di setiap command,gunakan command ini untuk install aws wrapper nya

pip install awscli-local --break-system-packages

lalu jika sudah export path dari aws cli ke bashrc karena terinstall di folder bin local bukan di sistem jadinya perlu export path dari file local ke sistem

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

lalu jika sudah maka bisa test langsung buat sebuah bucket pertama untuk testting saja,gunakan command

awslocal s3 mb s3://test1-bucket

jika sudah berhasil periksa apakah bucket sudah dibuat

awslocal s3 ls 

jika sudah keluar sebuah output yaitu bucket yang tadi sudah dibuat maka setup aws cli dan aws wrapper sudah selesai sekarang. oke sudah selesai dengan setup aws masuk ke step berikutnya yaitu setup dari terraform,tinggal install terraform saja sih,masuk ke website ini ,oke jika bagian install terraform selesai maka tinggal testting saja buat sebuah file config untuk connect dengan provider aws agar terraform bisa berjalan

vim aws.tf
|
provider "aws" {
  access_key                  = "test"
  secret_key                  = "test"
  region                      = "us-east-1"

  s3_use_path_style           = true
  skip_credentials_validation = true
  skip_requesting_account_id  = true
  skip_metadata_api_check     = true

  endpoints {
    s3  = "http://localhost:4566"
    iam = "http://localhost:4566"
    sts = "http://localhost:4566"
    sqs = "http://localhost:4566"
    sns = "http://localhost:4566"
    dynamodb = "http://localhost:4566"
    lambda = "http://localhost:4566"
    logs = "http://localhost:4566"
    cloudwatch = "http://localhost:4566"
  }
}

oke untuk credentials skip karena ini hanya simulasi dari aws dan bukan aws asli yang memerlukan credentials akun aws jadinya perlu di ingat bahwa tidak menggunakan credentials,lalu baris berikutnya requesting account id sama seperti credentials yaitu agar terraform tidak menanyakan id account asli dari aws jadinya tidak ada error yang akan muncul kedepannya,lalu skip metadata api agar terraform tidak mencoba untuk mengambil meta data asli dari aws dan karena ini bukan aws asli jadinya skip saja, oke untuk teralhir itu semua adalah service yang akan digunakan dan tentunya service ini berjalan dan asli bukan seperti ec2,eks,dll.Service-service diatas bisa berfungsi selayaknya sebuah service di aws,jika sudah coba untuk connect dengan menggunakan command

terraform init

jika suda dan keluar output seperti ini

adihvuusv

oke jika sudah maka akan keluar output hijau seperti diatas,jika sudah melakukan init dan berhasil lanjut ke tahap selanjutnya yaitu pembuatan resource dan service aws dengan menggunakan terraform sebagai provisioning tools,semua config yang akan di buat saya ambil dari docs di terraform aws provider docs oke jika sudah masuk config pertama yaitu pembuatan s3 bucket

resource "aws_s3_bucket" "test-bucket" {
  bucket = "my-tf-test-bucket"
}

oke config pertama yaitu pembuatan s3 karena nanti di workflow akan dibutuhkan s3 makanya s3 bucket di buat terlebih dahulu,masuk ke config selannjutnya,yaitu config untuk role dan karena role ini di tujukan untuk lambda dan di dalam workflow nya ada 2 lambda nanti lambda producer dan lambda consumer,jadinya role untuk lambda producer terlebuh dahulu

vim iam-attachment-role.tf
|
data "aws_iam_policy_document" "assume_role" {
  statement {
    effect = "Allow"

    principals {
      type        = "Service"
      identifiers = ["lambda.amazonaws.com"]
    }

    actions = ["sts:AssumeRole"]
  }
}

resource "aws_iam_role" "role" {
  name               = "role-lambda"
  assume_role_policy = data.aws_iam_policy_document.assume_role.json
}

data "aws_iam_policy_document" "lambda-policy" {
  statement {
    effect    = "Allow"
    actions   = [ "s3:GetObject", "sns:Publish","logs:CreateLogGroup", "logs:CreateLogStream", "logs:PutLogEvents"]
    resources = ["*"]
  }
}

resource "aws_iam_policy" "Lambda-role-policy" {
  name        = "role-lambda-policy"
  description = "A Lambda policy"
  policy      = data.aws_iam_policy_document.lambda-policy.json
}

resource "aws_iam_role_policy_attachment" "test-attach" {
  role       = aws_iam_role.role.name
  policy_arn = aws_iam_policy.Lambda-role-policy.arn
}

oke diatas merupakan config untuk role lambda producer, di bagian paling atas menyatakan bahwa role ini hanya bole di pinjam oleh service lambda,lalu masuk ke bagian ke dua yaitu pembuatan role lambda dan juga role lambda akan diarahakan ke assume role ynag sebelumnya dibuat,setelah itu bagian ketiga, yaitu pembuatan policy di bagian ini khusus menentukan apa yang bisa dilakukan ole lambda,dengan policy ini lambda di berikan akses seperti s3 untuk melihat detail objek,lalu sns untuk publish message,dll.Pada bagian selanjutnya yaitu bagian empat pembuatan policy dan policy diarahkan ke data policy sebelumnya,dan yang terakhir yaitu menempelkan role ke policy yang sudah dibuat, oke masuk ke file config selanjutnya yaitu file role lambda consumer

vim iam-attachment-role-consumer.tf
|
data "aws_iam_policy_document" "lambda-consumer-assume-role" {
  statement {
    effect = "Allow"

    principals {
      type        = "Service"
      identifiers = ["lambda.amazonaws.com"]
    }

    actions = ["sts:AssumeRole"]
  }
}

resource "aws_iam_role" "lambda-consumer-role" {
  name               = "lamda-consumer-role"
  assume_role_policy = data.aws_iam_policy_document.lambda-consumer-assume-role.json
}

data "aws_iam_policy_document" "lambda-consumer-policy" {
  statement {
    effect    = "Allow"
    actions   = [  "sqs:ReceiveMessage", "sqs:DeleteMessage",
    "dynamodb:PutItem", "dynamodb:UpdateItem",
    "logs:CreateLogGroup", "logs:CreateLogStream", "logs:PutLogEvents"]
    resources = ["*"]
  }
}

resource "aws_iam_policy" "Lambda-role-consumer-policy" {
  name        = "lambda-consumer-role-policy"
  description = "A Lambda policy"
  policy      = data.aws_iam_policy_document.lambda-consumer-policy.json
}

resource "aws_iam_role_policy_attachment" "lambda-consumer-role-attachment" {
  role       = aws_iam_role.lambda-consumer-role.name
  policy_arn = aws_iam_policy.Lambda-role-consumer-policy.arn

}

oke sama seperti penjelasan file role lambda prodycer,di file role lambda consumer kurang lebih struktur filenya sama yang membedakannya hanyalah policy yang diberikan, mengacu pada workflow nantinya sistem akan bekerja dengan cara event s3 -> lambda (producer/lambda pertama) -> sns (publish) -> sqs -> lambda (consumer/lambda kedua),kurang lebih seperti ini gambaran dari sistem yang sedang dibuat nantinya diakhir ada cloud watch dan dynamodb sebagai pelengkap dan juga alert ke telegram (bot),oke karena ini lambda kedua atau lambda consumer policy yang di berikan juga cukup berbeda dengan lambda pertama atau producer,seperti sqs recieve message,lalu ada update dynamodb,dll. Jika semua policy dan role yang diburuhkan masing masing lambda sudaha ada bisa lanjut ke file config selanjutnya,file selanjutnya yaitu sns terlebih dahulu

vim sns.tf
|
resource "aws_sns_topic" "user_updates" {
  name = "user-updates-topic"
}
resource "aws_sns_topic_subscription" "user_updates_sqs_target" {
  topic_arn = aws_sns_topic.user_updates.arn
  protocol  = "sqs"
  endpoint  = aws_sqs_queue.user-sqs.arn
}

untuk file config sns standar saja saya ambil dari docs terraform,oke lanjut ke sqs

vim sqs.tf
|
resource "aws_sqs_queue" "user-sqs" {
  name = "pentil_kuda"
  provider = aws
}

resource "aws_sqs_queue_policy" "example" {
  queue_url = aws_sqs_queue.user-sqs.id

  policy = jsonencode({
    Version = "2012-10-17"
    Statement = [{
      Sid    = "Cejuwdam"
      Effect = "Allow"
      Principal = {
        Service = "sns.amazonaws.com"
      }
      Action   = "SQS:SendMessage"
      Resource = aws_sqs_queue.user-sqs.arn
      Condition = {
        ArnLike = {
          "aws:SourceArn" = aws_sns_topic.user_updates.arn
        }
      }
    }]
  })
}

untuk config sqs kurang lebih seperti ini,di config diatas bagian pertama yaitu membuat resource sqs lalu setelah itu membuat policy untuk sqs ini dan diarahkan ke resource sqs tadi,masuk ke configurasi selanjutnya yaitu bagian cloudwatch,

vim cloud-watch.tf
|
resource "aws_cloudwatch_log_group" "test" {
  name = "/aws/lambda/lambda_function_consumer"
  retention_in_days = 5
  tags = {
    Environment = "production"
    Application = "serviceA"
  }
}

untuk cloud watch log grop pastikan nama sesuai dengan lambda function consumer karena lambda consumer lah yang akan di simpan lognya,next ke cloud watch metrics alarm sebelum masuk ke bagian config run terlebih dahulu command ini

awslocal cloudwatch list-metrics
**NOTE!!LANGKAH DISINI SAYA RUN KARENA SAYA MEMANG SETELAH LAMBDA CONSUMER MELAKUKAN UPLOAD FILE TERLEBIH DAHULU JANGAN RUN COMMAND INI JIKA LAMBDA BELUM DIBUAT!!**

command diatas akan menampilkan jumlah metrics yang tersedia

asidhsdv

pilih metrics sesuai dengan output yang ada,jangan sampai memilih metrics yang tidak ada,oke next masuk ke config cloud watch metrics

vim cloud-watch-metrics.tf
|
resource "aws_sns_topic" "alerts" {
  name = "pipeline-alerts-topic"
}

resource "aws_cloudwatch_metric_alarm" "test" {
  alarm_name          = "terraform-test"
  comparison_operator = "GreaterThanOrEqualToThreshold"
  evaluation_periods  = 1
  metric_name         = "Errors"
  namespace           = "AWS/Lambda"
  period              = 120
  statistic           = "Sum"
  threshold           = 1
  treat_missing_data  = "notBreaching"
  alarm_description   = "Lambda consumer error >= 1"

  dimensions = {
    FunctionName = "lambda_function_consumer"
  }

  alarm_actions             = [aws_sns_topic.alerts.arn]
  ok_actions                = [aws_sns_topic.alerts.arn]
  insufficient_data_actions = []
}

oke saya menggunakan metrics Errors untuk name space AWS/Lambda,ingat harus sesuai denga yang ada di output command tadi,masuk ke pembuatan handler dari notifier untuk cloudwatch, semua handler akan menggunakan python

vim lambda_function_alert.py
|
import json
import os
import urllib.parse
import urllib.request

def lambda_handler(event, context):
    print(f"RAW EVENT: {json.dumps(event)}")
    for record in event['Records']:
        raw = record['Sns']['Message']
        try:
            alarm = json.loads(raw)
            text = (f"🚨 ALARM: {alarm['AlarmName']}\n"
                    f"State: {alarm['NewStateValue']}\n"
                    f"Reason: {alarm['NewStateReason']}")
        except (ValueError, KeyError):
            text = f"🚨 ALARM: {raw}"

        url = f"https://api.telegram.org/bot{os.environ['TELEGRAM_BOT_TOKEN']}/sendMessage"
        data = urllib.parse.urlencode({
            'chat_id': os.environ['TELEGRAM_CHAT_ID'],
            'text': text,
        }).encode()
        urllib.request.urlopen(url, data=data, timeout=8)

zip terlebih dahulu

zip lambda_function_alert.zip lambda_function_alert.py

lalu masuk ke notifier,ini merupakan bagian dari functionnya

vim lambda-alert.tf
|
resource "aws_lambda_function" "lambda-function-alert" {
  filename         = "${path.module}/lambda_function_alert.zip"
  function_name    = "lambda_function_alert"
  role             = aws_iam_role.lambda-consumer-role.arn
  handler          = "lambda_function_alert.lambda_handler"
  source_code_hash = filebase64sha256("${path.module}/lambda_function_alert.zip")
  runtime          = "python3.12"
  timeout          = 10

  environment {
    variables = {
      TELEGRAM_BOT_TOKEN = var.telegram_bot_token
      TELEGRAM_CHAT_ID   = var.telegram_chat_id
    }
  }
}

resource "aws_lambda_permission" "alerts_sns" {
  statement_id  = "AllowSNSInvoke"
  action        = "lambda:InvokeFunction"
  function_name = aws_lambda_function.lambda-function-alert.function_name
  principal     = "sns.amazonaws.com"
  source_arn    = aws_sns_topic.alerts.arn
}

resource "aws_sns_topic_subscription" "alerts_lambda" {
  topic_arn = aws_sns_topic.alerts.arn
  protocol  = "lambda"
  endpoint  = aws_lambda_function.lambda-function-alert.arn
}

lanjut ke lambda function bagian lambda producer atau lambda pertama tapi sebelum masuk ke config lambda mari buat terlebih dahulu code untuk lambda handler sama seperti untuk notifier cloud watch

vim lambda_function.py
|
import json
import boto3

sns_client = boto3.client('sns')

TOPIC_ARN = "arn:aws:sns:us-east-1:000000000000:user-updates-topic"

def lambda_handler(event, context):
    record = event['Records'][0]
    bucket_name = record['s3']['bucket']['name']
    object_key = record['s3']['object']['key']

    message = f"File baru diupload: {object_key} ke bucket {bucket_name}"

    sns_client.publish(
        TopicArn=TOPIC_ARN,
        Message=message
    )

    return {
        'statusCode': 200,
        'body': json.dumps('Notifikasi terkirim!')
    }

sebelum masuk ke bagian file config zip terlebih dahulu file python nya

zip lambda_function.zip lambda_function.py

oke jika sudah du zip masuk ke bagian config dari lambda produser atau lambda pertama

vim lambda.tf
|
resource "aws_lambda_function" "lambda-function" {
  filename      = "${path.module}/lambda_function.zip"
  function_name = "lambda_function"
  role          = aws_iam_role.role.arn
  handler       = "lambda_function.lambda_handler"
  source_code_hash = filebase64sha256("${path.module}/lambda_function.zip")

  runtime = "python3.12"

  environment {
    variables = {
      ENVIRONMENT = "production"
      LOG_LEVEL   = "info"
    }
  }

  tags = {
    Environment = "production"
    Application = "example"
  }
}

oke bagian dari config lambda langsung menunjuk ke role yang sudah di siapkan sebelumnya di iam-attachment-role,lalu ada baris untuk menunjukan path ke handler dari si lambda function yang tadi sudah di buat dengan format zip,lalu di bagian bawah ada runtime sesuaikan dengan handler yang sudah di buat jika handler python berarti runtime harus python,masuk ke config selanjutnya yaitu untuk permission agar nantinya lambda bisa notice ada event di s3

resource "aws_lambda_permission" "allow_bucket" {
  statement_id  = "AllowExecutionFromS3Bucket"
  action        = "lambda:InvokeFunction"
  function_name = aws_lambda_function.lambda-function.arn
  principal     = "s3.amazonaws.com"
  source_arn    = aws_s3_bucket.test-bucket.arn
}
resource "aws_s3_bucket_notification" "bucket_notification" {
  bucket = aws_s3_bucket.test-bucket.id

  lambda_function {
    lambda_function_arn = aws_lambda_function.lambda-function.arn
    events              = ["s3:ObjectCreated:*"]
    filter_prefix       = "AWSLogs/"
    filter_suffix       = ".log"
  }

  depends_on = [aws_lambda_permission.allow_bucket]
}

dibagian atas akan mengizin kan lambda untuk melakukan aksi ke s3 bucket yang sudah dibuat lalu setiap event akan di filter sesuai dengan jenis atau format file yang masukk ke s3 bucket jadinya lambda hanya akan memproses event yang format file sesuai dengan yang sudah di filter di dalam prefix dan sufix,untuk prefix sendiri itu awal dari nama item atau path file dan pastikan diarahkan ke function producer,masuk ke bagian selanjutnya yaitu lambda consumer atau lambda kedua tapi sebelum itu buat variable terlebih dahulu,variable ini nantinya berisi token bot dan id chat cara untuk mendapatkan token bot bisa dihilat di projek sebelumnya disini,jike sudah masuke bagian id chat dan bot token ke file terraform vars

vim terraform.tfvars
|
telegram_bot_token = "xxxxxx"
telegram_chat_id   = "xxxxxx"

oke jika sudah masuk ke file config lambda ,seperti biasa buat handler terlebih dahulu

vim .py
|
import json
import time
import os
import urllib.request
import urllib.error
import boto3

dynamodb = boto3.resource('dynamodb')
TABLE_NAME = "PipelineHistory"
table = dynamodb.Table(TABLE_NAME)

BOT_TOKEN = os.environ.get('TELEGRAM_BOT_TOKEN')
CHAT_ID = os.environ.get('TELEGRAM_CHAT_ID')


def send_telegram_alert(text):
    if not BOT_TOKEN or not CHAT_ID:
        print("TELEGRAM_BOT_TOKEN atau TELEGRAM_CHAT_ID belum diset, skip alert")
        return

    url = f"https://api.telegram.org/bot{BOT_TOKEN}/sendMessage"
    payload = json.dumps({
        "chat_id": CHAT_ID,
        "text": text
    }).encode('utf-8')

    req = urllib.request.Request(
        url,
        data=payload,
        headers={"Content-Type": "application/json"},
        method="POST"
    )

    try:
        with urllib.request.urlopen(req, timeout=8) as response:
            print(f"Telegram alert terkirim, status: {response.status}")
    except urllib.error.HTTPError as e:
        print(f"Telegram API error: {e.code} - {e.read().decode('utf-8')}")
    except urllib.error.URLError as e:
        print(f"Gagal konek ke Telegram API: {str(e)}")


def lambda_handler(event, context):
    print(f"RAW EVENT: {json.dumps(event)}")

    for record in event['Records']:
        body = json.loads(record['body'])
        original_message = body.get('Message', 'Pesan tidak ditemukan')
        sns_message_id = body.get('MessageId', record.get('messageId', 'unknown'))

        print(f"Pesan diterima dari SQS: {original_message}")

        item = {
            'event_id': sns_message_id,
            'timestamp': int(time.time() * 1000),
            'message': original_message,
            'source': 'sqs-consumer-lambda',
            'status': 'processed',
        }

        try:
            table.put_item(Item=item)
            print(f"Berhasil ditulis ke DynamoDB: {item['event_id']}")
        except Exception as e:
            print(f"GAGAL nulis ke DynamoDB: {str(e)}")

            send_telegram_alert(f"GAGAL nulis history ke DynamoDB!\n{original_message}\nError: {str(e)}")
            raise


        send_telegram_alert(f" Pipeline event diproses:\n{original_message}")

    return {
        'statusCode': 200,
        'body': json.dumps('Pesan berhasil diproses, dicatat ke DynamoDB, dan alert terkirim')
    }

jika sudah zip file handler nya

zip lambda_function_consumer.zip lambda_function_consumer.py

jika sudah masuk ke file config lambda consumer

vim lambda-2.tf
|
resource "aws_lambda_function" "lambda-function-consumer" {
  filename          = "${path.module}/lambda_function_consumer.zip"
  function_name     = "lambda_function_consumer"
  role              = aws_iam_role.lambda-consumer-role.arn
  handler           = "lambda_function_consumer.lambda_handler"
  source_code_hash  = filebase64sha256("${path.module}/lambda_function_consumer.zip")
  runtime           = "python3.12"
  timeout           = 10

  environment {
    variables = {
      ENVIRONMENT         = "production"
      LOG_LEVEL           = "info"
      TELEGRAM_BOT_TOKEN  = var.telegram_bot_token
      TELEGRAM_CHAT_ID    = var.telegram_chat_id
    }
  }

  tags = {
    Environment = "production"
    Application = "example"
  }
}

variable "telegram_bot_token" {
  description = "Token dari @BotFather"
  type        = string
  sensitive   = true
}

variable "telegram_chat_id" {
  description = "Chat ID tujuan alert"
  type        = string
}

kurnag lebih sama seperti lambda function yang pertama atau producer di lambda function kedua atau consumer sama saja bagian pertama langsung membuat function dengan menunjukan letak dari handler lambda function consumer yang sebelumnya sudah dibuat lalu arahkan juga ke role consumer yang sudah dibuat,dan ada tambahan untuk bagian bot masukan variable sebelumnya yang sudah ada di file terraform.vars,oke jika sudah selesai masuk ke bagian config dynamodb

vim dynamodb.tf
|
resource "aws_dynamodb_table" "pipeline-history-table" {
  name         = "PipelineHistory"
  billing_mode = "PAY_PER_REQUEST" 

  hash_key  = "event_id"
  range_key = "timestamp"

  attribute {
    name = "event_id"
    type = "S"
  }

  attribute {
    name = "timestamp"
    type = "N"
  }

  tags = {
    Name        = "pipeline-history"
    Environment = "learning"
  }
}

oke untuk dynamodb sudha selesai,masuk ke bagian config selanjutnya yaitu sqs trigger lambda

vim sqs-trigger-lambda.tf
|
resource "aws_lambda_event_source_mapping" "sqs-trigger" {
  event_source_arn = aws_sqs_queue.user-sqs.arn
  function_name    = aws_lambda_function.lambda-function-consumer.arn
  batch_size       = 10

  scaling_config {
    maximum_concurrency = 100
  }
}

oke dibagian ini pastikan bahwa function name mengarahken lambda function consumer karena ini bagian config ini khusus untuk lambda consumer,jadi seperti workflow event s3 -> lambda (producer/pertama) -> sns -> sqs -> lambda (consumer/kedua),dan yang terakhir ada lambda nulis di dynamodb dan ada log di cloud watch,oke jika sudah sekarang coba plan terlebih dahulu

terraform plan

jika terraform plan berhasil dan tidak ada error satu pun lanjut apply provisioning

terraform apply 

jika sudah ke apply sekarang test buat sebuah file dengan format .log

vim test.log
|
test

oke jika sudah sekarang test event apakah sistem berjalan sesuai dengan yang di harapkan

awslocal s3 cp test.log s3://my-tf-test-bucket/AWSLogs/xxxx.log

oke jika sudah tunggu beberapa saat dan seharus nya ada notifikasi dari telegram

aioeuhsrb

oke sudah berahasil ada notifikasi dari telegram,selanjutnya cek dynamodb apakah lambda benar benar menulis ke dynamodb,gunakan command

awslocal dynamodb list-tables
|
awslocal dynamodb scan --table-name TABLE-NAME <- output dari list-tables

aoudvydfv

Setup Phase 2

Disinilah bagian inti dari projek ini dimulai,yah semua bagian setup mengambil perannya masing masing,oke untuk pertama-tama upload semua file tf yang ada di aws phase 1 atau setup diatas ke repository,tentu buat repository terlebih dahulu

sldivhsf

oke jika sudah seperti yang saya lakukan jangan lupa untuk melakukan clone di laptop 2 gunakan command

git clone https://repo-url

jika sudah pindahkan semua file yang ada di dalam repository ke folder terraform-setup gunakan command

cd repo-folder
mv * ../terraform-setup

jika sudah cek lagi apakah semua file sudah ada dengan menggunakan command

ls -l

oke jika dirasa sudah edit terlebihd dahlulu main.tf yang ada di folder terraform-setup di laptop2 karena disini hanya akan membutuhkan 1 file tf untuk init sedangkan di posisi sekarang masih ada file 2 file untuk init yaitu main.tf (dari laptop 2 dan yang akan di pakai) dan aws.tf (dari percobaan di laptop 1 dan yang isinya yang akan dipakai),oke tanpa berlama-lama edit isi file dari main.tf dengan menambahkan isi dari file aws.tf

vim main.tf
|
terraform {
  required_providers {
    libvirt = {
      source = "dmacvicar/libvirt"
    }
    aws = {
      source  = "hashicorp/aws"
      version = "~> 5.0"
    }
  }
}
provider "libvirt" {
  uri = "qemu+ssh://rizki@ip-node-laptop1/system"

}
provider "aws" {
  access_key                  = "test"
  secret_key                  = "test"
  region                      = "us-east-1"
  s3_use_path_style           = true
  skip_credentials_validation = true
  skip_metadata_api_check     = true
  skip_requesting_account_id  = true

  endpoints {
    s3  = "http://localhost:4566"
    iam = "http://localhost:4566"
    sts = "http://localhost:4566"
    sqs = "http://localhost:4566"
    sns = "http://localhost:4566"
    dynamodb = "http://localhost:4566"
    lambda = "http://localhost:4566"
    logs = "http://localhost:4566"
    cloudwatch = "http://localhost:4566"
  }
}

kurang lebih main.tf akan menggunakan dua provider mulai dari libcivirt by dmavaciar dan aws localstack,oke jika sudah lanjut ke installasi dari aws cli dan aws wrapper

sudo pip install awscli --break-system-packages
sudo pip install awscli-local --break-system-packages

installasi dilakukan system wide karena ada user jenkins juga yang perlu menggunakan lalu export agar system bisa mengenalinya

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

oke jika sudah sebelum test hapus terlebih dahulu aws.tf yang dari laptop1 karena nanti bisa bentork

rm aws.tf

masuk ke bagian selanjutnya yaitu run docker lagi karena sekarang berapa di evinronment laptop 2 jadinya container localstack harus di run lagi

docker run -d --name localstack   -e LOCALSTACK_AUTH_TOKEN=TOKE-AUTH  -e PERSISTENCE=1   -e LAMBDA_DOCKER_NETWORK=bridge   -e
LOCALSTACK_HOST=localhost.localstack.cloud   -p 4566:4566   -p 4510-4559:4510-4559   -v ~/localstack-data:/var/lib/localstack   -v
/var/run/docker.sock:/var/run/docker.sock   localstack/localstack

jika sudah berhasil run coba untuk test dengan menggunakan

terraform init

tunggu hingga proses selesai

s;ivhsfb

oke berhasil init,berarti sudah bisa langsung terraform apply untuk menambahkan semua aws service dari localstack,apply kali ini tidak ada mempengaruhi apply kvm/qemu sebelumnya,langsung saja apply

terraform apply

tunggu sampai proses selesai

aopiehvsrb

oke apply sudah selesai sekarang bagian testing,ingat soal Jenkins yang ada di setup awal-awal qemu/kvm,pakai direktori tadi yang sudah di test menggunakan jenkins lalu edit Jenkinsfile

vim Jenkinsfile
|
pipeline {
    agent any
    stages {
        stage('Test Webhook') {
            steps {
                echo 'Webhook triggered successfullly!!!!'
                sh 'ls -la'
                sh 'kubectl apply -f kube.yaml'
            }
        }
        stage('Upload yaml file to s3 ') {
           steps {
               echo "upload yaml file to s3 bucket"
               sh "awslocal --version"
               sh "awslocal s3 cp kube.log s3://my-tf-test-bucket/AWSLogs/kube.log"
           }
        }
    }
}

kali ini hanya menambahkan bagian upload file ke s3 bucket untuk mentrigger chain effect jadinya bakalan ada notifikasi yang sudah di pasang sebelumnya,lalu buat sebuah file dengan format log atau jika tidak ingin file dengan format log bisa saja ubah suffix yang ada di file tf untuk merubah menjadi format txt ataupun ingin menambah format file baru bisa tinggal tambah section di dalam file tf,karena saya memilih format log jadinya saya merubah file kube.yaml menjadi .log

cp kube.yaml kube1.yaml
mv kube1.yaml kube.log

jika sudah push ke repo

git add .
git commit -m "second push"
git push origin main

jika sudah di push lihat ke jenkins dashboard yang sudah di buat tadi lalu cek apakah ada pipeline yang sedang berjalan,jika ada klik pipelinenya lalu lihat ke console

sisbhe

oke ternyata sudah ada lalu cek secara berkala notifikasi dari telegram

ishvdeb

oke ternyata sudah ada notifkasi dari telegram selanjutnya cek apakah benar benar ada history di dynamodb gunakan command

awslocal dynamodb list-tables

aivbsb

oke ternyata sudah ada table dari dynamodb nya sekarang liat isi dari table

awslocal dynamodb scan --table-name NAMA-TABLE

aidvbsf

notifkasi sudah ada di telegram lalu dynamodb sudah ada table dan isinya infrastructure sudah berjalan,terimakasih sudah menyimak