在xshell中，启动 HDFS 并运行 MapReduce 程序

在XShell（SSH客户端）中，启动Hadoop分布式文件系统（HDFS）并运行MapReduce程序需要按照以下步骤操作：

1. **安装Hadoop**:
- 首先确保你已经在服务器上安装了Hadoop，通常包括HDFS（NameNode和DataNodes）和MapReduce组件（JobTracker和TaskTrackers）。你可以通过`start-dfs.sh`和`start-yarn.sh`命令分别启动HDFS和YARN服务。

2. **登录到集群节点**:
使用XShell连接到Hadoop集群的一个管理节点（通常是 Namenode所在），例如：

   ssh [用户名]@[集群IP地址]

3. **启动HDFS**:
进入HDFS的bin目录，然后运行`start-all.sh` (如果使用的是Hadoop 2.x及以上版本)，或`hdfs namenode -format` 初始化NameNode，然后运行`sbin/start-dfs.sh`启动NameNode、DataNodes以及Secondary NameNodes。

4. **确认HDFS是否运行正常**:
可以通过运行`jps`查看是否有`JOURNALNODE`, `DATANODE`, `NAMENODE`, 和 `SECONDARY_NAMENODE`等进程。

5. **运行MapReduce任务**:
- 如果有自定义的MapReduce应用程序，你需要将jar包上传到HDFS的`/user/hadoop`目录下。
- 编写mapreduce job配置文件（如`job.xml`），指定输入路径、输出路径和Mapper/Reducer类。
- 使用`yarn jar`命令提交任务，示例如下：

     hadoop jar your-app.jar YourDriverClass [-D mapred.job.tracker=[JobTracker URL]] [-input <input_path>] [-output <output_path>]

6. **监控任务状态**:
使用`yarn application -list`或`yarn logs -applicationId [application_id]`检查MapReduce任务的状态和日志。