使用命令行编译打包运行自己的MapReduce程序Hadoop2.6.0_MapReducepom.xml - CSDN文库

需积分: 33 82 浏览量更新于2023-05-27 收藏 232KB DOCX 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

使用命令行编译打包运行自己的

MapReduce 程序 Hadoop2.6.0

网上的 MapReduce WordCount 教程对于如何编译 WordCount.java 几乎是一笔带

过... 而有写到的，大多又是 0.20 等旧版本版本的做法，即 javac -classpath

/usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar

WordCount.java，但较新的 2.X 版本中，已经没有 hadoop-core*.jar 这个文件，因

此编辑和打包自己的 MapReduce 程序与旧版本有所不同。

本文以 Hadoop 2.6.0 单机模式环境下的 WordCount 实例来介绍 2.x 版本中如何编辑

自己的 MapReduce 程序。

Hadoop 2.x 版本中的依赖 jar

Hadoop 2.x 版本中 jar 不再集中在一个 hadoop-core*.jar 中，而是分成多个 jar，如使

用 Hadoop 2.6.0 运行 WordCount 实例至少需要如下三个 jar:

 $HADOOP_HOME/share/hadoop/common/hadoop-common-2.6.0.jar

 $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-

2.6.0.jar

 $HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar

实际上，通过命令 hadoop classpath 我们可以得到运行 Hadoop 程序所需的全部

classpath 信息。

编译、打包 Hadoop MapReduce 程序

我们将 Hadoop 的 classhpath 信息添加到 CLASSPATH 变量中，在 ~/.bashrc 中增

加如下几行：

export HADOOP_HOME=/usr/local/hadoop

export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

别忘了执行 source ~/.bashrc 使变量生效，接着就可以通过 javac 命令编译

WordCount.java 了（使用的是 Hadoop 源码中的 WordCount.java，源码在文本最后

面）：

$ javac WordCount.java

编译时会有警告，可以忽略。编译后可以看到生成了几个 .class 文件。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余4页未读，立即下载

mj_yya

粉丝: 2
资源: 34

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈