Architecting Ideas, Building with Engineering

Website ini berisi beberapa catatan saya dari pekerjaan sehari-hari, dari perspektif teknis, termasuk tips dan trik. Saya bekerja dengan sebagian besar distribusi berbasis Linux yang umum (Debian/Ubuntu dan turunan RHEL) dan terkadang dengan perangkat lunak proprietary lainnya untuk kasus penggunaan tertentu. Saya juga memanfaatkan berbagai alat otomatisasi dan mengikuti praktik terbaik di lingkungan produksi. Kenal saya lebih lanjut disini:

Menjalankan Model LLM OpenAI Open Source dengan vLLM dan GPU NVIDIA L4

Menjalankan model lokal openai/gpt-oss-20b dengan NVIDIA L4 GPU, model ini sebenarnya dapat dijalankan pada GPU konsumer seri RTX dengan ~16GB VRAM. Saya membaginya menjadi dua bagian: menjalankan secara manual dan menggunakan kontainer dengan sistem operasi Ubuntu 24.04 LTS. Persiapan Instal driver dan dependensi wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb sudo dpkg -i cuda-keyring_1.1-1_all.deb && rm -rf cuda-keyring_1.1-1_all.deb sudo apt update && sudo apt install -y \ linux-headers-$(uname -r) \ libnvidia-compute-580 nvidia-dkms-580-open \ datacenter-gpu-manager-4-cuda-all \ datacenter-gpu-manager-exporter \ cuda-toolkit nvtop build-essential Kita memerlukan reboot host untuk menerapkan driver GPU. ...

Klaster Kubernetes RKE2 dengan Cilium eBPF CNI

Persiapan Saya menggunakan tiga node VM untuk proyek ini dengan 8 Core, 8GB Memori, dan 80GB untuk penyimpanan container dengan sistem operasi Rocky Linux 9.6 menggunakan RKE2 v1.32.5+rke2r1 dan Cilium v1.17.3 Hostname Node vCPU Memori Storage PrivateNet Peran Node knode01master01 8 Core 8GB 80GB 172.16.0.211 Control-plane knode01master02 8 Core 8GB 80GB 172.16.0.212 Control-plane knode01master03 8 Core 8GB 80GB 172.16.0.213 Control-plane knode01worker01 8 Core 8GB 80GB 172.16.0.211 Worker knode01worker02 8 Core 8GB 80GB 172.16.0.212 Worker knode01worker03 8 Core 8GB 80GB 172.16.0.213 Worker Semua operasi menggunakan user root, harap berhati-hati saat menjalankan perintah! Pada langkah ini, eksekusi dilakukan di semua node ...

Klaster Kubernetes Ringan dengan Multi Master K3S dan CRI-O

Persiapan Saya menggunakan tiga node VM untuk proyek lab rumah ini dengan 4 Core, Memori 4GB, dan 20GB untuk penyimpanan container dengan sistem operasi Rocky Linux 9.5 dengan kubernetes v1.32.5+k3s1 dan cri-o v1.32. Node Hostname vCPU Memory Storage PrivateNet litekube01 4 Core 4GB 20GB 172.16.0.111 litekube02 4 Core 4GB 20GB 172.16.0.112 litekube03 4 Core 4GB 20GB 172.16.0.113 Semua operasi menggunakan user root, berhati-hatilah saat menjalankan perintah! Pada langkah ini, eksekusi dilakukan di semua node ...