Постановка задачи
Вам необходимо развернуть production-grade кластер Kubernetes, который способен переживать отказы узлов, выполнять rolling updates без простоя и масштабироваться под нагрузку.
Предварительные требования
- Минимум 3 узла control plane (по 2 GB RAM каждый)
- Минимум 3 worker-узла (по 1 GB+ RAM каждый)
- 1 узел load balancer/endpoint
- CentOS 7/8 или совместимый Linux-дистрибутив
- Сетевая связность между всеми узлами
Архитектура
┌─────────────────────┐
│ External Traffic │
└──────────┬──────────┘
│
┌──────────▼──────────┐
│ HAProxy + VIP │
│ (Load Balancer) │
└──────────┬──────────┘
│
┌───────────────────────┼───────────────────────┐
│ │ │
┌───────▼───────┐ ┌───────▼───────┐ ┌───────▼───────┐
│ Control Plane │ │ Control Plane │ │ Control Plane │
│ Node 1 │ │ Node 2 │ │ Node 3 │
│ + etcd │ │ + etcd │ │ + etcd │
└───────┬───────┘ └───────┬───────┘ └───────┬───────┘
│ │ │
└───────────────────────┼───────────────────────┘
│
┌───────────────────────┼───────────────────────┐
│ │ │
┌───────▼───────┐ ┌───────▼───────┐ ┌───────▼───────┐
│ Worker Node │ │ Worker Node │ │ Worker Node │
│ 1 │ │ 2 │ │ 3 │
└───────────────┘ └───────────────┘ └───────────────┘
Шаг 1: Подготовьте все узлы
Задайте hostname
На каждом узле задайте уникальный hostname:
sudo hostnamectl set-hostname control-plane-1 # или подходящее имя
Настройте /etc/hosts
Добавьте все узлы кластера в /etc/hosts на каждой машине:
cat <<EOF >> /etc/hosts
# Кластер Kubernetes
10.0.0.10 endpoint
10.0.0.11 control-plane-1
10.0.0.12 control-plane-2
10.0.0.13 control-plane-3
10.0.0.21 worker-1
10.0.0.22 worker-2
10.0.0.23 worker-3
EOF
Отключите swap
Kubernetes требует, чтобы swap был отключён:
swapoff -a
sed -i '/swap/d' /etc/fstab
Настройте параметры ядра
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
sysctl --system
Отключите SELinux (или корректно настройте)
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
Шаг 2: Установите container runtime
Установите Docker
dnf config-manager --add-repo=https://download.docker.com/linux/centos/docker-ce.repo
dnf install -y docker-ce docker-ce-cli containerd.io
# Настройте Docker для Kubernetes
mkdir -p /etc/docker
cat <<EOF > /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
systemctl daemon-reload
systemctl enable docker --now
Шаг 3: Установите компоненты Kubernetes
Добавьте репозиторий Kubernetes
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://pkgs.k8s.io/core:/stable:/v1.32/rpm/
enabled=1
gpgcheck=1
gpgkey=https://pkgs.k8s.io/core:/stable:/v1.32/rpm/repodata/repomd.xml.key
EOF
Установите kubeadm, kubelet, kubectl
dnf install -y kubelet kubeadm kubectl iproute-tc
systemctl enable kubelet
Шаг 4: Настройте Load Balancer (узел endpoint)
Установите HAProxy
dnf install -y haproxy
Настройте HAProxy
cat <<EOF > /etc/haproxy/haproxy.cfg
global
log /dev/log local0
log /dev/log local1 notice
daemon
defaults
mode tcp
log global
timeout connect 5s
timeout client 1m
timeout server 1m
frontend kubernetes-apiserver
bind *:6443
mode tcp
option tcplog
default_backend kubernetes-apiserver
backend kubernetes-apiserver
mode tcp
option tcp-check
balance roundrobin
server control-plane-1 10.0.0.11:6443 check fall 3 rise 2
server control-plane-2 10.0.0.12:6443 check fall 3 rise 2
server control-plane-3 10.0.0.13:6443 check fall 3 rise 2
EOF
systemctl enable haproxy --now
Шаг 5: Настройте firewall
На всех узлах
# Доверяйте узлам кластера
firewall-cmd --zone=trusted --add-source=10.0.0.10
firewall-cmd --zone=trusted --add-source=10.0.0.11
firewall-cmd --zone=trusted --add-source=10.0.0.12
firewall-cmd --zone=trusted --add-source=10.0.0.13
firewall-cmd --zone=trusted --add-source=10.0.0.21
firewall-cmd --zone=trusted --add-source=10.0.0.22
firewall-cmd --zone=trusted --add-source=10.0.0.23
# Сеть Pod (Calico или Flannel)
firewall-cmd --zone=trusted --add-source=10.244.0.0/16
firewall-cmd --zone=trusted --add-masquerade
# Сохраните правила
firewall-cmd --runtime-to-permanent
systemctl restart firewalld
Шаг 6: Инициализируйте первый узел control plane
kubeadm init \
--pod-network-cidr=10.244.0.0/16 \
--control-plane-endpoint "endpoint:6443" \
--upload-certs
Сохраните вывод команды!
Команда выводит две команды для присоединения: 1. Для дополнительных узлов control plane (с --control-plane) 2. Для worker-узлов
Настройте kubectl
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
Шаг 7: Установите CNI (Container Network Interface)
Вариант A: Calico
kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml
Вариант B: Flannel
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
Шаг 8: Присоедините дополнительные узлы control plane
На каждом дополнительном узле control plane:
kubeadm join endpoint:6443 \
--token <token> \
--discovery-token-ca-cert-hash sha256:<hash> \
--control-plane \
--certificate-key <certificate-key>
Затем настройте kubectl:
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
Перевыпустите сертификаты, если срок действия истёк
kubeadm init phase upload-certs --upload-certs
Шаг 9: Присоедините worker-узлы
На каждом worker-узле:
kubeadm join endpoint:6443 \
--token <token> \
--discovery-token-ca-cert-hash sha256:<hash>
Сгенерируйте новый join token, если срок действия истёк
kubeadm token create --print-join-command
Шаг 10: Проверьте состояние кластера
# Проверьте, что все узлы в состоянии Ready
kubectl get nodes
# Проверьте, что все system Pod в состоянии Running
kubectl get pods -n kube-system
# Проверьте статус компонентов
kubectl get componentstatuses
Ожидаемый вывод:
NAME STATUS MESSAGE ERROR
scheduler Healthy ok
controller-manager Healthy ok
etcd-0 Healthy {"health":"true"}
Шаг 11: Настройте планирование Pod (опционально)
Включите планирование на узлах control plane
По умолчанию Pod не планируются на узлах control plane. Чтобы разрешить это:
kubectl taint nodes --all node-role.kubernetes.io/control-plane-
Промаркируйте узлы для распределения нагрузки
kubectl label nodes worker-1 node-type=compute
kubectl label nodes worker-2 node-type=compute
kubectl label nodes worker-3 node-type=storage
Задачи обслуживания
Обновление версии кластера
# Сначала на узлах control plane
dnf upgrade -y kubeadm
kubeadm upgrade plan
kubeadm upgrade apply v1.32.x
# Затем обновите kubelet и kubectl
dnf upgrade -y kubelet kubectl
systemctl daemon-reload
systemctl restart kubelet
Обновление сертификатов
# Проверьте срок действия сертификатов
kubeadm certs check-expiration
# Обновите сертификаты
kubeadm certs renew all
Резервное копирование etcd
ETCDCTL_API=3 etcdctl snapshot save /backup/etcd-snapshot.db \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key
Устранение неполадок
Узел в состоянии Not Ready
# Проверьте логи kubelet
journalctl -u kubelet -f
# Проверьте состояние узла
kubectl describe node <node-name>
Проблемы с сетью Pod
# Проверьте Pod CNI
kubectl get pods -n kube-system | grep -E 'calico|flannel'
# Проверьте CoreDNS
kubectl get pods -n kube-system | grep coredns
API Server недоступен
# Проверьте статус HAProxy
systemctl status haproxy
# Проверьте работоспособность backend
curl -k https://endpoint:6443/healthz
Чек-лист высокой доступности
- [ ] 3+ узла control plane с etcd
- [ ] Load balancer перед API server
- [ ] Сеть Pod (CNI) установлена и работоспособна
- [ ] Все узлы в состоянии Ready
- [ ] Настроена стратегия резервного копирования etcd
- [ ] Запланирована ротация сертификатов
- [ ] Настроены мониторинг и оповещения
- [ ] Настроено автоматическое масштабирование узлов (если cloud)
- [ ] Для критичных нагрузок определены PodDisruptionBudgets
Связанные статьи Wiki
