hadoop大数据实验

### Hadoop大数据实验教程

#### 设置Hadoop环境

为了启动Hadoop并执行实验操作，需先配置好Hadoop环境。这涉及格式化NameNode和启动所有服务：

hadoop namenode -format
start-all.sh
jps

上述命令用于初始化HDFS文件系统，并启动所有的守护进程来使整个集群变得可用[^1]。

对于多节点集群部署，则需要编辑`workers`文件指定DataNodes列表，并通过SSH无密码登录机制将Hadoop分发至各个节点上：

vi workers
node1.ygy.cn
node2.ygy.cn
node3.ygy.cn

cd /export/server/
scp -r hadoop-3.1.4 root@node2:/export/server/
scp -r hadoop-3.1.4 root@node3:/export/server/

这些步骤确保了各节点间的一致性和协调工作能力[^2]。

#### 运行示例程序

一旦完成了基本设置之后，可以通过简单的WordCount例子了解MapReduce的工作流程。首先上传测试数据集到HDFS:

hdfs dfs -mkdir /input
hdfs dfs -put /path/to/local/file.txt /input

接着编译并提交作业给YARN调度器：

yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-*.jar wordcount /input /output

最后查看计算结果：

hdfs dfs -cat /output/part-r-00000

此过程展示了从准备输入直到获取最终统计信息的整体链路[^3]。