k8s部署airflow

Kubernetes (k8s) 是一个开源的容器编排系统，常用于自动化容器化应用的部署、扩展和管理。要将Apache Airflow部署到k8s上，你可以按照以下步骤操作：

1. **安装Kubernetes集群**：确保你有一个运行中的k8s集群，如果没有，可以通过官方文档或服务商提供的服务安装。

2. **创建Docker镜像**：Airflow应该被打包成Docker镜像，包含所有依赖。你可以使用Dockerfile创建一个自定义的镜像。

# Dockerfile
FROM python:3.8-slim-buster
COPY requirements.txt ./
RUN pip install --no-cache-dir -r requirements.txt
COPY . /app
WORKDIR /app
EXPOSE 8080
CMD ["airflow", "webserver"]

3. **创建Kubernetes部署文件**（如：`airflow-deployment.yaml`）：
- 定义Deployment来描述Pod的数量和配置
- 使用Service来暴露应用的端口

apiVersion: apps/v1
kind: Deployment
metadata:
  name: airflow-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: airflow
  template:
    metadata:
      labels:
        app: airflow
    spec:
      containers:
      - name: airflow
        image: <your-airflow-docker-image>
        ports:
        - containerPort: 8080
---
apiVersion: v1
kind: Service
metadata:
  name: airflow-service
spec:
  selector:
    app: airflow
  ports:
    - protocol: TCP
      port: 80
      targetPort: 8080
  type: LoadBalancer

4. **部署到k8s**：
使用`kubectl apply -f airflow-deployment.yaml`命令将配置文件应用到集群。

5. **验证和访问**：
查看Pod状态确认部署成功，然后通过Service的外部IP或域名访问Airflow UI。