yarn jar $YARN_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce.job.queuename=root.etl 10 1000
时间: 2024-06-04 11:09:11 浏览: 18
这是一个在 YARN 上运行的 Hadoop MapReduce 作业命令,它将运行 Pi 计算示例。该命令的含义是:使用 Hadoop 安装目录下的 hadoop-mapreduce-examples-*.jar 文件作为程序包,运行 Pi 计算示例程序,将该作业提交至名为 root.etl 的队列,参数为 10 和 1000 分别表示在一个正方形中撒点的数量和撒点的总数。该示例程序将使用 MapReduce 框架来计算 Pi 的值。
相关问题
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'执行成功后,cat ./output/*显示没有那个文件或目录
这种情况可能是因为没有正确指定输入路径和输出路径导致的。请确认以下几点:
1. 输入路径是正确的,包含需要处理的文件。可以使用命令 `hadoop fs -ls <input_path>` 来检查输入路径是否存在文件。
2. 输出路径是正确的,并且不存在。如果输出路径已经存在,作业将无法运行。可以使用命令 `hadoop fs -rm -r <output_path>` 来删除输出路径。
3. 检查命令是否正确输入。可以再次运行命令,并确保输入路径和输出路径正确,以及正则表达式是否正确。
如果以上步骤都没有解决问题,可以查看作业日志以获取更多信息,使用命令 `yarn logs -applicationId <application_id>` 或者在Web UI上查看作业日志。
vi /etc/profile export HADOOP_HOME=/opt/programs/hadoop-2.7.6 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile hdfs namenode -format start-dfs.sh start-yarn.sh jps
好的,您的问题是如何在 Linux 系统中启动 Hadoop?
首先,您需要在环境变量配置文件 /etc/profile 中添加以下内容:
export HADOOP_HOME=/opt/programs/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
这里假设您的 Hadoop 安装路径为 /opt/programs/hadoop-2.7.6,根据实际情况进行修改。
然后,运行以下命令使配置文件生效:
source /etc/profile
接着,使用以下命令格式化 HDFS:
hdfs namenode -format
最后,使用以下命令启动 Hadoop:
start-dfs.sh
start-yarn.sh
您可以通过 jps 命令来查看 Hadoop 相关进程是否启动成功:
jps
如果成功启动,您应该能够看到 NameNode、DataNode、SecondaryNameNode、ResourceManager 和 NodeManager 等进程。