hadoop的伪分布式安装配置ssh免密登录

Hadoop的伪分布式模式是一种本地运行模式，它不需要真正的集群，而是通过模拟HDFS和YARN服务在一个单独的机器上运行。首先，你需要在本地计算机上安装Hadoop。

1. **下载并解压Hadoop**:
下载Hadoop源码包（如hadoop-3.x.x.tar.gz），然后解压缩到一个目录，比如`/usr/local/hadoop`。

2. **配置环境变量**:
在`~/.bashrc`或`~/.bash_profile`中添加以下内容，设置HADOOP_HOME、JAVA_HOME等路径：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin
   export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true"

3. **创建伪分布配置文件**:
使用文本编辑器创建`conf/core-site.xml`和`conf/yarn-site.xml`，配置基本的URL和资源信息。

4. **SSH免密登录配置**:
- 确保你的SSH已经启用了密码认证（`PasswordAuthentication yes`）。
- 如果你想启用SSH免密登录，需要生成SSH密钥对。打开终端，输入：

     ssh-keygen -t rsa -P ''

- 将公钥（`id_rsa.pub`）的内容添加到远程服务器的`.ssh/authorized_keys`文件中。

5. **启动Hadoop服务**:
在Hadoop根目录下，运行命令启动伪分布式模式的服务：

   sbin/start-dfs.sh
   sbin/start-yarn.sh

这样，Hadoop就在本地机器上模拟了伪分布式环境。

6. **验证连接**:
使用`hadoop fs -ls /`命令检查HDFS是否可以访问。