yarn jar $YARN_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce.job.queuename=root.etl 10 1000
时间: 2024-05-26 12:17:28 浏览: 15
这是一个运行在 YARN 集群上的 Hadoop MapReduce 例子,用于计算 PI 的近似值。其中 -Dmapreduce.job.queuename=root.etl 是指定了作业所在的队列名称为 root.etl,10 和 1000 是作业的参数。具体来说,10 表示计算次数,即将圆周率的计算分为 10 个任务进行,1000 表示每个任务的随机点数,即每个任务会生成 1000 个随机点来计算圆周率的近似值。
相关问题
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'执行成功后,cat ./output/*显示没有那个文件或目录
这种情况可能是因为没有正确指定输入路径和输出路径导致的。请确认以下几点:
1. 输入路径是正确的,包含需要处理的文件。可以使用命令 `hadoop fs -ls <input_path>` 来检查输入路径是否存在文件。
2. 输出路径是正确的,并且不存在。如果输出路径已经存在,作业将无法运行。可以使用命令 `hadoop fs -rm -r <output_path>` 来删除输出路径。
3. 检查命令是否正确输入。可以再次运行命令,并确保输入路径和输出路径正确,以及正则表达式是否正确。
如果以上步骤都没有解决问题,可以查看作业日志以获取更多信息,使用命令 `yarn logs -applicationId <application_id>` 或者在Web UI上查看作业日志。
vi /etc/profile export HADOOP_HOME=/opt/programs/hadoop-2.7.6 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile hdfs namenode -format start-dfs.sh start-yarn.sh jps
好的,您的问题是如何在 Linux 系统中启动 Hadoop?
首先,您需要在环境变量配置文件 /etc/profile 中添加以下内容:
export HADOOP_HOME=/opt/programs/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
这里假设您的 Hadoop 安装路径为 /opt/programs/hadoop-2.7.6,根据实际情况进行修改。
然后,运行以下命令使配置文件生效:
source /etc/profile
接着,使用以下命令格式化 HDFS:
hdfs namenode -format
最后,使用以下命令启动 Hadoop:
start-dfs.sh
start-yarn.sh
您可以通过 jps 命令来查看 Hadoop 相关进程是否启动成功:
jps
如果成功启动,您应该能够看到 NameNode、DataNode、SecondaryNameNode、ResourceManager 和 NodeManager 等进程。