ceph osd pool create cephfs_metadata 64

这也是一个Ceph命令，用于在Ceph集群中创建一个名为cephfs_metadata的存储池。其中，64表示该存储池的pg_num值，即该存储池被分成的placement group数目。需要注意的是，pg_num的值应根据实际情况进行设置，不能盲目设置过高或过低的值。创建存储池后，可以使用该池来存储Ceph文件系统的元数据。与cephfs_data存储池不同的是，cephfs_metadata存储池中的数据通常是小文件或小对象，因此pg_num的值可以设置得相对较小。

相关问题

Error EINVAL: pool 'cephfs_metadata' already contains some objects. Use an empty pool instead.

这个错误通常是因为在尝试创建一个 CephFS 元数据池时，该池已经包含对象。解决此问题的方法是使用一个空的池来创建元数据池。您可以执行以下步骤：

1. 删除元数据池中的所有对象。
2. 创建一个新的空池。
3. 将元数据池指向新的空池。

以下是一些命令示例：

1. 删除元数据池中的所有对象：

ceph fs reset

2. 创建一个新的空池：

ceph osd pool create <pool-name> <pg-num> <pgp-num> <pool-type>

例如：

ceph osd pool create cephfs_metadata 64 64 replicated

3. 将元数据池指向新的空池：

ceph fs new cephfs cephfs_metadata <data-pool-name>

例如：

ceph fs new cephfs cephfs_metadata cephfs_data

请注意，在执行上述操作之前，请务必备份您的数据。

k8s daemonset编排ceph详细步骤

下面是在Kubernetes集群上使用DaemonSet部署Ceph的详细步骤：

1. 创建Ceph集群配置文件

在Kubernetes Master节点上创建一个ceph.conf文件，并将其保存到 /etc/ceph 目录下。该文件应该包含Ceph集群的配置信息和认证密钥。以下是一个示例配置文件：

[global]
fsid = {cluster-id}
mon_initial_members = {mon-host-1}, {mon-host-2}, {mon-host-3}
mon_host = {mon-host-1-ip}, {mon-host-2-ip}, {mon-host-3-ip}
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

2. 创建Ceph密钥文件

在Kubernetes Master节点上创建一个ceph.client.admin.keyring文件，并将其保存到 /etc/ceph 目录下。该文件包含Ceph集群管理用户的认证密钥。以下是一个示例文件：

[client.admin]
key = {admin-key}

3. 创建Ceph镜像

在Docker Hub上获取Ceph镜像，并将其下载到Kubernetes Master节点上。可以使用以下命令来获取镜像：

docker pull ceph/daemon:v3.2.3

4. 创建Ceph存储卷

在Kubernetes集群中创建一个存储卷，用于Ceph daemon的持久化存储。可以使用以下命令来创建存储卷：

kubectl create -f ceph-volume.yaml

其中，ceph-volume.yaml文件包含以下内容：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: ceph-volume
spec:
  capacity:
    storage: 100Gi
  accessModes:
    - ReadWriteOnce
  rbd:
    monitors:
      - {mon-host-1-ip}:6789
      - {mon-host-2-ip}:6789
      - {mon-host-3-ip}:6789
    pool: rbd
    image: ceph-volume
    user: admin
    secretRef:
      name: ceph-client-secret
    fsType: ext4

其中，{mon-host-1-ip}、{mon-host-2-ip}、{mon-host-3-ip}是Ceph集群中的Monitor节点IP地址，{ceph-client-secret}是在第5步中创建的Secret对象的名称。

5. 创建Ceph认证密钥Secret对象

在Kubernetes集群中创建一个Secret对象，用于存储Ceph集群认证密钥。可以使用以下命令来创建Secret对象：

kubectl create secret generic ceph-client-secret --from-file=/etc/ceph/ceph.client.admin.keyring

其中，/etc/ceph/ceph.client.admin.keyring是在第2步中创建的Ceph客户端认证密钥文件路径。

6. 创建Ceph DaemonSet

在Kubernetes集群中创建一个DaemonSet对象，用于部署Ceph daemon。可以使用以下命令来创建DaemonSet对象：

kubectl create -f ceph-daemonset.yaml

其中，ceph-daemonset.yaml文件包含以下内容：

apiVersion: apps/v1beta2
kind: DaemonSet
metadata:
  name: ceph-daemonset
  namespace: ceph
spec:
  selector:
    matchLabels:
      app: ceph
  template:
    metadata:
      labels:
        app: ceph
    spec:
      containers:
        - name: ceph-daemon
          image: ceph/daemon:v3.2.3
          volumeMounts:
            - name: ceph-volume
              mountPath: /var/lib/ceph/osd
            - name: ceph-conf
              mountPath: /etc/ceph
      volumes:
        - name: ceph-volume
          persistentVolumeClaim:
            claimName: ceph-volume-claim
        - name: ceph-conf
          configMap:
            name: ceph-conf

其中，ceph-volume-claim是在第4步中创建的存储卷声明的名称，ceph-conf是在Ceph集群配置文件和认证密钥文件的配置映射。

7. 验证Ceph DaemonSet

使用以下命令验证Ceph daemon是否已成功部署：

kubectl get pods -n ceph

如果一切正常，应该看到一个名为ceph-daemonset-<node-name>的Pod正在运行。

以上就是在Kubernetes集群上使用DaemonSet部署Ceph的详细步骤。