hadoop单机部署

Hadoop单机部署是指在一个独立的计算机上安装并运行Apache Hadoop框架，通常用于测试、学习和小规模数据处理。以下是单机部署的基本步骤：

1. **下载Hadoop**: 从Apache官网下载适合的操作系统版本的Hadoop，比如Hadoop Core、HDFS（Hadoop Distributed File System）和MapReduce。

2. **配置环境变量**：在操作系统环境变量中添加Hadoop的bin目录，以便在命令行中轻松访问Hadoop工具。

3. **安装HDFS**：解压Hadoop包，并进入HDFS文件夹。启动NameNode (dfs namenode -format) 初始化分布式文件系统，然后运行DataNode (start-dfs.sh) 启动数据节点服务。

4. **配置核心服务**：编辑`core-site.xml`配置文件，设置Hadoop的一些基本属性，如namenode地址和datanode的副本因子等。

5. **启动守护进程**：运行Hadoop的主守护进程，如`start-all.sh` 或者分别启动YARN的ResourceManager, NodeManager, JobHistoryServer等。

6. **验证集群状态**：通过JPS命令检查Hadoop服务是否正常启动，以及使用hadoop fs -ls等命令来确认HDFS是否可以读写文件。

7. **测试**：上传一些文件到HDFS，运行简单的MapReduce任务，以验证Hadoop的单机功能是否正常。

相关问题

hadoop单机模式安装部署

Hadoop单机模式的安装部署可以按照以下步骤进行：

1. 创建用户：`sudo useradd -m hadoop -s /bin/bash`，设置密码：`sudo passwd hadoop`，并将用户添加到sudo组：`sudo adduser hadoop sudo`。
2. 切换到hadoop用户：`sudo su - hadoop`。
3. 更新资源库：`sudo apt-get update`。
4. 安装vim：`sudo apt-get install vim`。
5. 安装ssh：`sudo apt-get install openssh-server`。然后生成SSH密钥：`cd ~/.ssh/`，`ssh-keygen -t rsa`，并将公钥添加到授权文件：`cat id_rsa.pub >> authorized_keys`。
6. 安装Java环境：`sudo apt-get install openjdk-8-jre openjdk-8-jdk`。编辑.bashrc文件：`vim ~/.bashrc`，在文件第一行添加以下内容：

   export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
   export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
   export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native

然后运行`source ~/.bashrc`使变量生效。
7. 安装hadoop：切换到/usr/local目录：`cd /usr/local`，解压下载的hadoop文件：`sudo tar -zxvf ./hadoop-2.10.1.tar.gz`，将解压后的文件夹重命名为hadoop：`sudo mv ./hadoop-2.10.1/ ./hadoop`，并将权限设置为hadoop用户：`sudo chown -R hadoop ./hadoop`。
8. 修改hadoop配置文件：`vim /usr/local/hadoop/etc/hadoop/core-site.xml`，修改以下部分：

   <configuration>
     <property>
       <name>hadoop.tmp.dir</name>
       <value>file:/usr/local/hadoop/tmp</value>
     </property>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
     </property>
   </configuration>

9. 启动Hadoop：切换到hadoop目录：`cd /usr/local/hadoop`，格式化NameNode：`bin/hdfs namenode -format`，然后启动Hadoop：`sbin/start-dfs.sh`。
10. 检查Hadoop是否成功启动：运行`jps`命令，应该能看到NameNode、DataNode和SecondaryNameNode这三个进程。