利用flink自身的WordCount.jar包本地测试

Flink自身的WordCount.jar包是一个经典的Apache Flink示例程序，用于统计输入文本文件中单词的频率。要在本地进行测试，你需要按照以下步骤操作：

1. **下载并理解WordCount.jar**：首先从Flink官方GitHub仓库下载WordCount的源码或JAR包，通常它包含一个`WordCount.java`的主要程序和依赖的配置文件。

2. **准备数据**：准备一个文本文件作为输入数据，例如`input.txt`，你可以创建这个文件，并添加一些英文或任意语言的文本内容。

3. **运行本地模式**：在命令行中，进入含有WordCount.jar的目录，然后运行命令：

   bin/flink run -m local WordCount.jar input.txt

`-m local`表示使用本地模式，不启动分布式集群，而是直接在当前机器上运行。

4. **查看结果**：程序执行完成后，会在控制台打印出单词及其计数的结果。

5. **验证WordCount功能**：检查结果是否符合预期，比如“the”、“is”这样的常用词应该有较高的计数值。

相关问题

开启 Hadoop 集群，在 yarn 上以 perjob 模式（即 Job 分 离 模 式 ， 不 采 用 Session 模 式 ） 运 行$FLINK_HOME/examples/batch/WordCount.jar， 将运行结果最后

开启Hadoop集群并以YARN上的perjob模式运行Flink作业大致可以分为以下步骤：

1. 启动Hadoop集群：确保Hadoop集群已经正确配置并且所有节点都处于运行状态。这通常涉及到启动NameNode和DataNodes等关键服务。

2. 配置YARN资源管理器：确保YARN的ResourceManager（通常位于NameNode上）正在运行，并且配置了足够的资源供Flink作业使用。

3. 设置Hadoop和YARN环境：在运行Flink作业的机器上配置Hadoop和YARN的环境变量，包括HADOOP_CONF_DIR和YARN_CONF_DIR，以便Flink可以找到Hadoop和YARN的配置文件。

4. 部署Flink环境：确保在运行作业的节点上已经部署了Flink，并且环境变量$FLINK_HOME正确指向Flink的安装目录。

5. 运行Flink作业：
使用`yarn-session.sh`脚本启动一个YARN Session是Flink的默认行为，但这不适用于perjob模式。在perjob模式下，你需要使用Flink的命令行工具直接提交作业。

下面是一个命令示例，用于启动WordCount作业：

   $FLINK_HOME/bin/flink run -m yarn-cluster -p <parallelism> $FLINK_HOME/examples/batch/WordCount.jar

这里`-m yarn-cluster`指定运行模式为YARN集群模式，`-p <parallelism>`指定作业的并行度，`$FLINK_HOME/examples/batch/WordCount.jar`是作业的JAR包路径。

6. 监控作业执行：作业启动后，可以通过YARN的ResourceManager Web UI来监控作业的执行状态。

7. 查看作业结果：作业完成后，可以通过指定的输出目录来查看WordCount的结果。

开启 Hadoop 集群，在 yarn 上以 per job 模式（即 Job 分 离 模 式 ， 不 采 用 Session 模 式 ） 运 行$FLINK_HOME/examples/batch/WordCount.jar， 将运行结果最后 10 行截图粘贴到答

开启Hadoop YARN集群并以Per-Job模式运行Apache Flink的例子需要几个步骤：

1. **准备环境**：
- 安装并配置Hadoop和YARN，确保它们都正常运行。
- 将Flink安装到集群上，设置好环境变量指向`$FLINK_HOME`。

2. **启动YARN**：
- 在Hadoop集群的ResourceManager上启动YARN服务，确保它监听正确的端口，并且对JobSubmissionProtocol开放。

3. **配置Flink**：
- 在Flink配置文件`flink-conf.yaml`中，配置`jobManager.rpc.address`和`jobManager.high-availability.storageDir`指向YARN的RM地址。
- 关闭session模式，启用per-job模式。可以在`high-availability`部分添加：

     high-availability:
       mode: standalone

4. **打包应用**：
- 打包`examples/batch/WordCount.jar`，可能需要添加`yarn-client`或`yarn-application`作为maven或gradle插件，以便于YARN管理。

5. **提交任务**：
- 使用Flink的`flink run`命令或者`yarn client`工具提交任务，类似于：

     $ bin/flink run -c org.apache.flink.streaming.examples.WordCount WordCount.jar

或者在YARN客户端环境中：

     $ bin/flink run -s yarn-cluster -j WordCount.jar

6. **查看结果**：
- 任务完成后，从Hadoop的JobHistory服务器或者YARN的任务历史日志中查找WordCount作业的结果。

7. **截取结果**：
- 一旦看到结果，你可以选择手动复制最终10行内容或者利用某些脚本语言（如bash或Python）抓取并保存前10行到图片。

请注意，这里提供的是一般的指导步骤，实际操作可能会因特定环境而略有差异。完成任务后，你应能看到类似这样的输出：

...
[RESULT] Top 10 most frequent words:
word1 count1
word2 count2
...

然后截取这部分内容作为答案的一部分。