kafka配置k8s

Kafka是一个分布式流处理平台，用处理高容量的实时数据流。在Kubernetes（简称K8s）中配置Kafka可以通过以下步骤进行：

1. 创建Kafka集群：在Kubernetes中创建一个Kafka集群，可以使用StatefulSet来管理Kafka的实例。StatefulSet可以确保每个Kafka实例都有唯一的标识和稳定的网络标识。

2. 配置存储：Kafka需要持久化存储来保存消息和元数据。可以使用Kubernetes的PersistentVolume和PersistentVolumeClaim来为Kafka提供持久化存储。

3. 配置网络：Kafka集群中的各个实例需要能够相互通信。可以使用Kubernetes的Service来创建一个内部的网络服务，使得Kafka实例可以通过服务名称进行通信。

4. 配置环境变量：在Kubernetes中，可以通过环境变量来配置Kafka的参数，例如Zookeeper的地址、Kafka的监听端口等。可以在StatefulSet的配置文件中设置这些环境变量。

5. 监控和日志：为了方便监控和故障排查，可以配置Kubernetes的监控和日志收集工具，例如Prometheus和Elasticsearch。

相关问题

kafka配置没有advertised.listeners这个参数，只有listeners这个可以连接k8s吗

可以。listeners参数可以指定Kafka在哪些网络接口或主机名上监听客户端请求。如果Kafka部署在Kubernetes中，可以将listeners参数配置为"kubernetes内部服务名称:9092"，这样客户端就可以通过Kubernetes服务名称连接Kafka。但如果需要让客户端能够在Kafka集群外通过公网IP访问Kafka，需要使用advertised.listeners参数来指定广告地址。

在k8s上部署 zookeeper + kafka 集群 配置教程

好的，以下是一个基本的在k8s上部署zookeeper + kafka集群的配置教程：

1. 创建一个namespace

首先，我们需要创建一个namespace，用于部署zookeeper和kafka集群。可以使用以下命令创建一个名为“zookeeper-kafka”的namespace：

kubectl create namespace zookeeper-kafka

2. 部署Zookeeper

接下来，我们需要部署Zookeeper。可以使用以下YAML文件创建一个Zookeeper服务：

apiVersion: v1
kind: Service
metadata:
  name: zookeeper
spec:
  selector:
    app: zookeeper
  ports:
    - name: client
      port: 2181
      protocol: TCP
    - name: follower
      port: 2888
      protocol: TCP
    - name: leader
      port: 3888
      protocol: TCP
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: zookeeper
spec:
  serviceName: zookeeper
  replicas: 3
  selector:
    matchLabels:
      app: zookeeper
  template:
    metadata:
      labels:
        app: zookeeper
    spec:
      containers:
        - name: zookeeper
          image: zookeeper:3.5.8
          ports:
            - name: client
              containerPort: 2181
            - name: follower
              containerPort: 2888
            - name: leader
              containerPort: 3888
          volumeMounts:
            - name: datadir
              mountPath: /data
          env:
            - name: ZOO_MY_ID
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: ZOO_SERVERS
              value: zookeeper-0.zookeeper:2888:3888,zookeeper-1.zookeeper:2888:3888,zookeeper-2.zookeeper:2888:3888
  volumeClaimTemplates:
    - metadata:
        name: datadir
      spec:
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 1Gi

这将创建一个3个Pod的Zookeeper StatefulSet，并创建一个名为“zookeeper”的Service，暴露Zookeeper的客户端端口2181，follower端口2888和leader端口3888。

3. 部署Kafka

现在，我们可以部署Kafka。以下是一个Kafka部署的YAML文件示例：

apiVersion: v1
kind: Service
metadata:
  name: kafka
spec:
  type: NodePort
  selector:
    app: kafka
  ports:
    - name: kafka
      port: 9092
      nodePort: 30092
      protocol: TCP
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: kafka
spec:
  serviceName: kafka
  replicas: 3
  selector:
    matchLabels:
      app: kafka
  template:
    metadata:
      labels:
        app: kafka
    spec:
      containers:
        - name: kafka
          image: wurstmeister/kafka:2.13-2.7.0
          ports:
            - name: kafka
              containerPort: 9092
          env:
            - name: KAFKA_BROKER_ID
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: KAFKA_ZOOKEEPER_CONNECT
              value: zookeeper-0.zookeeper:2181,zookeeper-1.zookeeper:2181,zookeeper-2.zookeeper:2181
            - name: KAFKA_ADVERTISED_LISTENERS
              value: PLAINTEXT://$(hostname -f):9092
            - name: KAFKA_LISTENERS
              value: PLAINTEXT://0.0.0.0:9092
            - name: KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR
              value: "3"
          volumeMounts:
            - name: datadir
              mountPath: /data
  volumeClaimTemplates:
    - metadata:
        name: datadir
      spec:
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 1Gi

这将创建一个3个Pod的Kafka StatefulSet和一个名为“kafka”的Service，它将Kafka的9092端口暴露为NodePort 30092。

4. 验证部署

现在，您可以使用以下命令检查Zookeeper和Kafka是否正在运行：

kubectl get pods -n zookeeper-kafka

您应该看到3个Zookeeper和3个Kafka Pod处于“Running”状态。

接下来，您可以使用以下命令检查Kafka是否正在监听端口30092（或您自己选择的端口）：

kubectl get services -n zookeeper-kafka

您应该看到一个名为“kafka”的service，它将Kafka的9092端口暴露为30092端口。可以使用此端口测试Kafka是否正常运行。

至此，您已经成功地在k8s上部署了zookeeper + kafka集群。