在Hadoop中配置ssh

在Hadoop中配置SSH主要是为了让Hadoop集群内的节点之间能够通过SSH协议进行安全通信。以下是基本步骤：

1. **安装SSH**：
首先，你需要在每个Hadoop节点上安装SSH服务。对于大多数Linux系统，这通常是预装的，如果没有，可以使用包管理器（如apt-get或yum）进行安装。

2. **配置SSH密钥对**：
- 创建公钥和私钥文件：`ssh-keygen -t rsa`
- 将生成的`id_rsa.pub`内容添加到Hadoop用户的~/.ssh/authorized_keys文件中，允许无密码登录。

3. **配置Hadoop的环境变量**：
在Hadoop配置文件`core-site.xml`中，添加SSH相关的属性，例如：

   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://<namenode_hostname>:9000</value>
   </property>
   <property>
     <name>hadoop.security.authentication</name>
     <value>kerberos</value> <!-- 或者 "password" -->
   </property>
   <property>
     <name>hadoop.ssl.enabled</name>
     <value>true</value>
   </property>

4. **启动SSH daemon**：
配置完成后，需要启动SSH服务。在Unix-like系统中，可以在守护进程启动命令中加上SSH参数启动，如：

   sbin/start-dfs.sh --config $HADOOP_CONF_DIR

5. **验证连接**：
使用`hadoop fs -ls`等命令测试SSH是否工作正常。