hadoop单机模式安装部署
时间: 2023-11-07 15:56:45 浏览: 108
大数据系列-Hadoop安装部署-Hadoop安装部署
Hadoop单机模式的安装部署可以按照以下步骤进行:
1. 创建用户:`sudo useradd -m hadoop -s /bin/bash`,设置密码:`sudo passwd hadoop`,并将用户添加到sudo组:`sudo adduser hadoop sudo`。
2. 切换到hadoop用户:`sudo su - hadoop`。
3. 更新资源库:`sudo apt-get update`。
4. 安装vim:`sudo apt-get install vim`。
5. 安装ssh:`sudo apt-get install openssh-server`。然后生成SSH密钥:`cd ~/.ssh/`,`ssh-keygen -t rsa`,并将公钥添加到授权文件:`cat id_rsa.pub >> authorized_keys`。
6. 安装Java环境:`sudo apt-get install openjdk-8-jre openjdk-8-jdk`。编辑.bashrc文件:`vim ~/.bashrc`,在文件第一行添加以下内容:
```
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native
```
然后运行`source ~/.bashrc`使变量生效。
7. 安装hadoop:切换到/usr/local目录:`cd /usr/local`,解压下载的hadoop文件:`sudo tar -zxvf ./hadoop-2.10.1.tar.gz`,将解压后的文件夹重命名为hadoop:`sudo mv ./hadoop-2.10.1/ ./hadoop`,并将权限设置为hadoop用户:`sudo chown -R hadoop ./hadoop`。
8. 修改hadoop配置文件:`vim /usr/local/hadoop/etc/hadoop/core-site.xml`,修改以下部分:
```
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
```
9. 启动Hadoop:切换到hadoop目录:`cd /usr/local/hadoop`,格式化NameNode:`bin/hdfs namenode -format`,然后启动Hadoop:`sbin/start-dfs.sh`。
10. 检查Hadoop是否成功启动:运行`jps`命令,应该能看到NameNode、DataNode和SecondaryNameNode这三个进程。
阅读全文