docker-compose.yml 文件中拉取flink容器 版本为1.17.0并在flink包的lib文件夹下加入三个以下三个依赖:https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-elasticsearch7/3.0.1-1.17/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar、https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-mysql-cdc/2.3.0/flink-sql-connector-mysql-cdc-2.3.0.jar、https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-postgres-cdc/2.3.0/flink-sql-connector-postgres-cdc-2.3.0.jar
时间: 2023-12-25 11:05:36 浏览: 309
podman-compose:使用podman运行docker-compose.yml的脚本
好的,您可以按照以下的方式来编写docker-compose.yml文件:
```
version: '3.7'
services:
jobmanager:
image: flink:1.17.0
command: jobmanager
ports:
- "8081:8081"
taskmanager:
image: flink:1.17.0
command: taskmanager
depends_on:
- jobmanager
links:
- jobmanager:jobmanager
environment:
- JOB_MANAGER_RPC_ADDRESS=jobmanager
- FLINK_TASK_MANAGER_MEMORY_PROCESS_SIZE=1024m
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
environment:
- discovery.type=single-node
ports:
- "9200:9200"
mysql:
image: mysql:8.0
environment:
- MYSQL_ROOT_PASSWORD=<your_password>
- MYSQL_USER=<your_user>
- MYSQL_PASSWORD=<your_password>
- MYSQL_DATABASE=<your_database>
ports:
- "3306:3306"
postgres:
image: postgres:13.1
environment:
- POSTGRES_USER=<your_user>
- POSTGRES_PASSWORD=<your_password>
- POSTGRES_DB=<your_database>
ports:
- "5432:5432"
flink-job:
image: flink:1.17.0
volumes:
- ./flink-conf.yaml:/opt/flink/conf/flink-conf.yaml
- ./lib/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar:/opt/flink/lib/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar
- ./lib/flink-sql-connector-mysql-cdc-2.3.0.jar:/opt/flink/lib/flink-sql-connector-mysql-cdc-2.3.0.jar
- ./lib/flink-sql-connector-postgres-cdc-2.3.0.jar:/opt/flink/lib/flink-sql-connector-postgres-cdc-2.3.0.jar
command: jobmanager
depends_on:
- jobmanager
- elasticsearch
- mysql
- postgres
links:
- elasticsearch:elasticsearch
- mysql:mysql
- postgres:postgres
environment:
- JOB_MANAGER_RPC_ADDRESS=jobmanager
- FLINK_TM_HEAP_SIZE=1024m
- FLINK_PROPERTIES=
- FLINK_ENV_JAVA_OPTS=
- FLINK_ENV_JAVA_TOOL_OPTIONS=
- FLINK_CONF_DIR=/opt/flink/conf
- FLINK_LIB_DIR=/opt/flink/lib
- FLINK_PLUGINS_DIR=/opt/flink/plugins
- FLINK_OPT_DIR=/opt/flink/opt
- FLINK_LOG_DIR=/opt/flink/log
- FLINK_HOME=/opt/flink
volumes:
- ./job.jar:/opt/flink/job.jar
- ./flink-conf.yaml:/opt/flink/conf/flink-conf.yaml
```
其中需要注意的是:
1. 在 `flink-job` 服务中,我们使用了 `volumes` 来挂载 `flink-conf.yaml` 和三个依赖的jar包到容器的 `/opt/flink/conf` 和 `/opt/flink/lib` 目录中。
2. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_PROPERTIES`,因为 Flink 在启动时会读取这个环境变量中的配置信息。
3. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_LIB_DIR`,这是因为 Flink 在启动时会从这个目录中加载依赖的jar包。
4. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_CONF_DIR`,这是因为 Flink 在启动时会读取这个目录中的配置文件。
5. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_HOME`,这是因为 Flink 在启动时需要知道它的安装路径。
上述的docker-compose.yml文件可以满足您的要求,在启动容器后,您可以使用以下的命令来进入到flink-job容器中:
```
docker-compose run flink-job /bin/bash
```
然后,您可以在容器中运行Flink任务了。
阅读全文