基于kubernetes的DevOps平台实践直播分享-马松林.pdf

基于 kubernetes 的 DevOps 平台实践直播分享

作者：马松林

整理：冉勇

1. 序

大家好，我叫马松林，现任 DaoCloud 交付架构师，今天给大家分享基于 kubernetes 的 DevOps 平台

实践。

二进制方式部署 kubernetes 集群。（kubeadm 方式部署全部运行在 docker 容器中、证书时长限制等；虽然

降低部署门槛，但屏蔽了很多细节，遇到问题很难排查等。）

2. kubernets 集群部署流程

kubernets 集群部署流程：

- 网络、主机等规划

- 规划集群网络

- 规划主机集群架构（如节点多机房灾备等）

- 配置 chrony

- 安装依赖软件包

- 加载相关内核模块

- 内核优化

- 配置数据盘

- 签发集群证书

- 签发 ca 证书

- 签发 etcd 证书

- 签发 admin 证书

- 签发 apiserver 证书

- 签发 kube-proxy 证书

- 部署 etcd 高可用集群

- etcd 集群部署

- haproxy+keepalived

- 部署 master 节点

- 生成 kuberctl kubeconfig，配置 kubectl

- 安装配置 kube-proxy

- 部署 calico

3. kubernetes 集群部署要点

kubernetes 集群部署要点：

- 关闭非安全端口，通过--anonymous-auth=false 关闭匿名请求，所有通信使用证书认证，防止请求

被篡改；通过证书认证和授权策略（x509、token、RBAC）。

- 开启 bootstrap token 认证，动态创建 token，而不是在 apiserver 中静态配置。

（https://github.com/k8sre/k8s_init.git）。 playbook 包含了系统初始化、签发证书、部署 etcd、部署 k8s、替

换集群证书等。

我们 Devops 平台对接了 Ansible Playbook，可在 DevOps 平台上操作部署、扩容，配合工单系统，完

成全自动化流程。

DevOps 平台操作部署、扩容 kubernets 集群流程：

- 填写申请机器工单

- 选择用途为 kubernetes 新建或者扩容

- 调用 Ansible Playbook 开始进行证书签发

- 调用 Ansible Playbook 开始进行 etcd 集群部署

- 调用 Ansible Playbook 开始进行节点扩容

通过以下命令即可将一批刚刚安装好系统、配置好网络的机器部署为一套生产可用的 k8s 集群：

ansible-playbook k8s.yml -i inventory -t init -l master

ansible-playbook k8s.yml -i inventory -t cert,install_master

扩容 node 节点

ansible-playbook k8s.yml -i inventory -t init -l node

ansible-playbook k8s.yml -i inventory -t cert,install_node

可用集群之二进制部署.md）

**Kubelet TLS Bootstrapping**

在 Kubernetes 集群中，工作节点上的组件（kubelet 和 kube-proxy）需要与 Kubernetes 主组件通信，

特别是 kube-apiserver。为了确保通信保持私密，不受干扰，并确保群集的每个组件与另一个受信任组件通

信，我们强烈建议在节点上使用客户端 TLS 证书。

引导这些组件的正常过程，特别是需要证书的工作节点，因此它们可以与 kube-apiserver 安全地通信，

这可能是一个具有挑战性的过程，因为它通常超出了 Kubernetes 的范围，需要大量的额外工作。反过来，

kubernetes 开启 TLS 认证后，每个 node 节点的 kubelet 都要使用由 kube-apiserver 的 ca 签发证书，才能与

kube-apiserver 进行通信，如果接入比较多的节点，为每个节点生成证书不太现实，Bootstrapping 就是让

**CSR 请求**

- nodeclient: kubelet 以 `O=system:nodes` 和 `CN=system:node:(node name)` 形式发起的 CSR 请求

- selfnodeclient: kubelet client renew 自己的证书发起的 CSR 请求(与上一个证书就有相同的 O 和

- selfnodeserver: kubelet server renew 自己的证书发起的 CSR 请求

使用 Bootstrap Token 时整个启动引导过程:

- 配置 apiserver 使用 `Bootstrap Token Secret`，替换以前使用`token.csv`文件

- 在集群内创建首次 TLS Bootstrap 申请证书的 ClusterRole、后续 renew Kubelet client/server 的

- 后续 kubelet 自动 renew 相关证书

- 集群搭建成功后立即清除 `Bootstrap Token Secret` ，或等待 Controller Manager 待其过期后删除，

以防止被恶意利用

4. ETCD 备份

下面讲一下 etcd 备份

**ETCD 备份**