k8s daemonset编排ceph详细步骤

下面是在Kubernetes集群上使用DaemonSet部署Ceph的详细步骤：

1. 创建Ceph集群配置文件

在Kubernetes Master节点上创建一个ceph.conf文件，并将其保存到 /etc/ceph 目录下。该文件应该包含Ceph集群的配置信息和认证密钥。以下是一个示例配置文件：

[global]
fsid = {cluster-id}
mon_initial_members = {mon-host-1}, {mon-host-2}, {mon-host-3}
mon_host = {mon-host-1-ip}, {mon-host-2-ip}, {mon-host-3-ip}
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

2. 创建Ceph密钥文件

在Kubernetes Master节点上创建一个ceph.client.admin.keyring文件，并将其保存到 /etc/ceph 目录下。该文件包含Ceph集群管理用户的认证密钥。以下是一个示例文件：

[client.admin]
key = {admin-key}

3. 创建Ceph镜像

在Docker Hub上获取Ceph镜像，并将其下载到Kubernetes Master节点上。可以使用以下命令来获取镜像：

docker pull ceph/daemon:v3.2.3

4. 创建Ceph存储卷

在Kubernetes集群中创建一个存储卷，用于Ceph daemon的持久化存储。可以使用以下命令来创建存储卷：

kubectl create -f ceph-volume.yaml

其中，ceph-volume.yaml文件包含以下内容：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: ceph-volume
spec:
  capacity:
    storage: 100Gi
  accessModes:
    - ReadWriteOnce
  rbd:
    monitors:
      - {mon-host-1-ip}:6789
      - {mon-host-2-ip}:6789
      - {mon-host-3-ip}:6789
    pool: rbd
    image: ceph-volume
    user: admin
    secretRef:
      name: ceph-client-secret
    fsType: ext4

其中，{mon-host-1-ip}、{mon-host-2-ip}、{mon-host-3-ip}是Ceph集群中的Monitor节点IP地址，{ceph-client-secret}是在第5步中创建的Secret对象的名称。

5. 创建Ceph认证密钥Secret对象

在Kubernetes集群中创建一个Secret对象，用于存储Ceph集群认证密钥。可以使用以下命令来创建Secret对象：

kubectl create secret generic ceph-client-secret --from-file=/etc/ceph/ceph.client.admin.keyring

其中，/etc/ceph/ceph.client.admin.keyring是在第2步中创建的Ceph客户端认证密钥文件路径。

6. 创建Ceph DaemonSet

在Kubernetes集群中创建一个DaemonSet对象，用于部署Ceph daemon。可以使用以下命令来创建DaemonSet对象：

kubectl create -f ceph-daemonset.yaml

其中，ceph-daemonset.yaml文件包含以下内容：

apiVersion: apps/v1beta2
kind: DaemonSet
metadata:
  name: ceph-daemonset
  namespace: ceph
spec:
  selector:
    matchLabels:
      app: ceph
  template:
    metadata:
      labels:
        app: ceph
    spec:
      containers:
        - name: ceph-daemon
          image: ceph/daemon:v3.2.3
          volumeMounts:
            - name: ceph-volume
              mountPath: /var/lib/ceph/osd
            - name: ceph-conf
              mountPath: /etc/ceph
      volumes:
        - name: ceph-volume
          persistentVolumeClaim:
            claimName: ceph-volume-claim
        - name: ceph-conf
          configMap:
            name: ceph-conf

其中，ceph-volume-claim是在第4步中创建的存储卷声明的名称，ceph-conf是在Ceph集群配置文件和认证密钥文件的配置映射。

7. 验证Ceph DaemonSet

使用以下命令验证Ceph daemon是否已成功部署：

kubectl get pods -n ceph

如果一切正常，应该看到一个名为ceph-daemonset-<node-name>的Pod正在运行。

以上就是在Kubernetes集群上使用DaemonSet部署Ceph的详细步骤。