Flink编译与Hadoop包配置详解

本文主要介绍了如何部署Flink与Hadoop集成的环境，特别是关于Flink的下载以及如何根据Hadoop版本编译Flink的Shaded Hadoop Uber JAR包，并在POM.xml文件中添加相应的仓库配置。 在进行Flink与Hadoop的部署时，首先需要访问Apache Flink的官方网站下载页面（https://flink.apache.org/downloads.html）获取最新的Flink源码包。下载完成后，你需要确保你的开发环境中已经安装了Java、Maven以及Hadoop的对应版本，因为Flink是基于Java开发的，而Hadoop可能是Flink运行的基础。 编译Flink的目的是为了使其能够兼容特定版本的Hadoop。在这个例子中，目标是编译出`flink-shaded-hadoop-3-uber-3.0.0-cdh6.3.2-10.0.jar`包，这个Uber JAR包含了Flink对Hadoop的依赖，使得Flink可以在不直接依赖Hadoop环境的情况下运行。为了完成这个编译过程，你需要在Flink项目的根目录下的POM.xml文件中添加一个新的profile。 在POM.xml文件中添加的profile，ID为`vendor-repos`，这个profile会在特定条件下激活，即当系统属性`vendor-repos`被设置时。profile的主要作用是添加第三方Maven仓库，这些仓库通常包含了一些特定版本或者发行版的Hadoop相关组件。例如，这里添加了Cloudera和Hortonworks的仓库，这两个都是知名的Hadoop发行商，他们的仓库可能包含了一些非官方Maven中央仓库的组件。 Cloudera的仓库配置如下： ```xml <repository> <id>cloudera-releases</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos</url> <releases><enabled>true</enabled></releases> <snapshots><enabled>false</enabled></snapshots> </repository> ``` Hortonworks的仓库配置则分为两个部分，一个是HDPReleases，另一个是HortonworksJettyHadoop： ```xml <repository> <id>HDPReleases</id> <name>HDPReleases</name> <url>https://repo.hortonworks.com/content/repositories/releases/</url> <snapshots><enabled>false</enabled></snapshots> <releases><enabled>true</enabled></releases> </repository> <repository> <id>HortonworksJettyHadoop</id> <name>HDPJetty</name> <url>https://repo.hortonworks.com/content/repository/hdp-jetty-hadoop/</url> <!-- 注意这里URL可能会有所不同，具体取决于需要的仓库 --> <snapshots><enabled>false</enabled></snapshots> <releases><enabled>true</enabled></releases> </repository> ``` 添加完这些仓库后，你可以通过Maven的命令行工具执行编译，例如： ```bash mvn clean package -DskipTests -Dvendor-repos ``` 这个命令会激活`vendor-repos` profile，并使用指定的第三方仓库编译项目，生成所需的Uber JAR。 总结一下，这个部署过程涉及到的知识点包括： 1. 下载并管理Flink源码。 2. 理解Maven的POM.xml文件结构和profile的概念。 3. 编译Flink项目以适应特定的Hadoop版本。 4. 添加第三方Maven仓库以获取非标准组件。 5. 使用Maven命令行工具执行编译任务。 这个过程对于在不同Hadoop环境中部署和运行Flink作业至关重要，因为它确保了Flink与Hadoop之间的兼容性。同时，理解这个过程也可以帮助开发者更好地理解和定制Flink的构建过程。