airflow docker安装
时间: 2023-11-03 10:59:26 浏览: 118
以下是在Docker上安装Apache Airflow的步骤:
1. 首先,您需要安装Docker和Docker Compose。您可以在官方Docker文档中找到有关如何安装Docker的指南:https://docs.docker.com/install/
2. 接下来,创建一个新的目录,用于存储Airflow相关文件。在该目录中创建一个名为docker-compose.yaml的文件,并将以下内容添加到文件中:
```
version: '3'
services:
postgres:
image: postgres
environment:
POSTGRES_USER: airflow
POSTGRES_PASSWORD: airflow
POSTGRES_DB: airflow
ports:
- "5432:5432"
volumes:
- ./pgdata:/var/lib/postgresql/data
webserver:
image: apache/airflow:2.1.0
depends_on:
- postgres
environment:
- LOAD_EX=n
- EXECUTOR=Local
- POSTGRES_USER=airflow
- POSTGRES_PASSWORD=airflow
- POSTGRES_DB=airflow
volumes:
- ./dags:/opt/airflow/dags
- ./logs:/opt/airflow/logs
- ./plugins:/opt/airflow/plugins
ports:
- "8080:8080"
command: webserver
scheduler:
image: apache/airflow:2.1.0
depends_on:
- postgres
environment:
- LOAD_EX=n
- EXECUTOR=Local
- POSTGRES_USER=airflow
- POSTGRES_PASSWORD=airflow
- POSTGRES_DB=airflow
volumes:
- ./dags:/opt/airflow/dags
- ./logs:/opt/airflow/logs
- ./plugins:/opt/airflow/plugins
command: scheduler
```
此文件定义了三个服务:一个PostgreSQL数据库服务,一个Web服务器服务和一个调度器服务。Web服务器服务和调度器服务都使用Apache Airflow 2.1.0的官方Docker镜像。
3. 在该目录中创建三个新的子目录:dags、logs和plugins。这些目录将分别用于存储您的DAG、日志和插件。
4. 运行以下命令启动Airflow:
```
docker-compose up
```
此命令将下载所需的Docker镜像并启动三个服务。您可以使用以下URL访问Airflow Web界面:http://localhost:8080
5. 如果您想停止Airflow,请按CTRL-C并运行以下命令:
```
docker-compose down
```
这将停止并删除所有相关容器和网络。
阅读全文