[hadoop@127 ~]$ ~/.ssh/authorized_keys -bash: /home/hadoop/.ssh/authorized_keys: 权限不够

当你看到这个错误信息的时候，它表示当前Hadoop用户（在这个例子中是`hadoop`）试图通过`.ssh/authorized_keys`文件访问SSH密钥，但是权限不足。`.ssh/authorized_keys`通常用于非交互式登录，允许SSH客户端验证用户的公钥而无需输入密码。解决这个问题，你需要确保`hadoop`用户对`.ssh/authorized_keys`文件有正确的读取权限。

1. 打开终端并切换到`hadoop`用户：

   sudo su hadoop

2. 检查文件权限：

   ls -l .ssh/authorized_keys

如果权限不是`600`（即所有者可读、写，其他用户无权限），你可以更改权限：

   chmod 600 .ssh/authorized_keys

3. 确认`.ssh`目录权限也正确，如果是`700`（仅所有者可读写）：

   chmod 700 .ssh

4. 之后，退出`hadoop`用户并检查是否能正常加载SSH密钥进行无密码登录：

完成以上步骤后，你应该可以正常访问`.ssh/authorized_keys`文件了。如果问题依然存在，可能是其他权限设置导致的，比如`.ssh`目录的组权限不合适，需要进一步排查。

相关问题

hadoop单机模式安装部署

Hadoop单机模式的安装部署可以按照以下步骤进行：

1. 创建用户：`sudo useradd -m hadoop -s /bin/bash`，设置密码：`sudo passwd hadoop`，并将用户添加到sudo组：`sudo adduser hadoop sudo`。
2. 切换到hadoop用户：`sudo su - hadoop`。
3. 更新资源库：`sudo apt-get update`。
4. 安装vim：`sudo apt-get install vim`。
5. 安装ssh：`sudo apt-get install openssh-server`。然后生成SSH密钥：`cd ~/.ssh/`，`ssh-keygen -t rsa`，并将公钥添加到授权文件：`cat id_rsa.pub >> authorized_keys`。
6. 安装Java环境：`sudo apt-get install openjdk-8-jre openjdk-8-jdk`。编辑.bashrc文件：`vim ~/.bashrc`，在文件第一行添加以下内容：

   export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
   export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
   export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native

然后运行`source ~/.bashrc`使变量生效。
7. 安装hadoop：切换到/usr/local目录：`cd /usr/local`，解压下载的hadoop文件：`sudo tar -zxvf ./hadoop-2.10.1.tar.gz`，将解压后的文件夹重命名为hadoop：`sudo mv ./hadoop-2.10.1/ ./hadoop`，并将权限设置为hadoop用户：`sudo chown -R hadoop ./hadoop`。
8. 修改hadoop配置文件：`vim /usr/local/hadoop/etc/hadoop/core-site.xml`，修改以下部分：

   <configuration>
     <property>
       <name>hadoop.tmp.dir</name>
       <value>file:/usr/local/hadoop/tmp</value>
     </property>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
     </property>
   </configuration>

9. 启动Hadoop：切换到hadoop目录：`cd /usr/local/hadoop`，格式化NameNode：`bin/hdfs namenode -format`，然后启动Hadoop：`sbin/start-dfs.sh`。
10. 检查Hadoop是否成功启动：运行`jps`命令，应该能看到NameNode、DataNode和SecondaryNameNode这三个进程。

docker搭建hadoop集群

搭建Hadoop集群需要进行以下步骤：

1. 安装Docker和Docker Compose

在搭建Hadoop集群之前，需要先安装Docker和Docker Compose。在Linux系统中，可以使用以下命令来安装：

sudo apt-get update
sudo apt-get install docker
sudo apt-get install docker-compose

2. 创建Docker镜像

在安装完Docker和Docker Compose之后，需要创建Hadoop镜像。Docker镜像可以通过Dockerfile文件进行创建。以下是一个简单的Dockerfile文件示例：

FROM ubuntu:18.04

RUN apt-get update && \
    apt-get install -y ssh && \
    apt-get install -y rsync && \
    apt-get install -y openjdk-8-jdk && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*

RUN useradd -ms /bin/bash hadoop && \
    echo 'hadoop:hadoop' | chpasswd && \
    usermod -aG sudo hadoop

RUN ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa && \
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys && \
    chmod 0600 ~/.ssh/authorized_keys

ADD hadoop-2.10.1.tar.gz /opt

RUN cd /opt && \
    ln -s hadoop-2.10.1 hadoop && \
    chown -R hadoop:hadoop hadoop-2.10.1 && \
    chown -R hadoop:hadoop hadoop

ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64
ENV PATH $PATH:/opt/hadoop/bin:/opt/hadoop/sbin

CMD ["/usr/sbin/sshd", "-D"]

在该Dockerfile文件中，我们使用了Ubuntu 18.04作为基础镜像，然后安装了SSH、rsync和OpenJDK-8。我们还创建了一个名为hadoop的用户和一个SSH密钥对。接着，我们下载并解压Hadoop二进制文件，并设置环境变量。最后，我们启动SSH服务。

在生成Dockerfile文件之后，我们可以使用以下命令创建Hadoop镜像：

docker build -t hadoop .

3. 编写Docker Compose文件

在创建完Docker镜像之后，需要编写Docker Compose文件来定义Hadoop集群的拓扑结构。以下是一个简单的Docker Compose文件示例：

version: '2.3'
services:
  namenode:
    image: hadoop
    container_name: namenode
    hostname: namenode
    ports:
      - "50070:50070"
      - "8088:8088"
    volumes:
      - ./data/namenode:/opt/hadoop-2.10.1/data/namenode
    environment:
      - HADOOP_ROLE=NAMENODE
      - NAMENODE_HOST=namenode
      - RESOURCEMANAGER_HOST=resourcemanager
    command: ["/opt/hadoop/bin/hadoop", "namenode"]
    networks:
      hadoop:
        ipv4_address: 172.16.238.10

  datanode1:
    image: hadoop
    container_name: datanode1
    hostname: datanode1
    volumes:
      - ./data/datanode1:/opt/hadoop-2.10.1/data/datanode
    environment:
      - HADOOP_ROLE=DATANODE
      - NAMENODE_HOST=namenode
      - RESOURCEMANAGER_HOST=resourcemanager
    command: ["/opt/hadoop/bin/hadoop", "datanode"]
    depends_on:
      - namenode
    networks:
      hadoop:
        ipv4_address: 172.16.238.11

  datanode2:
    image: hadoop
    container_name: datanode2
    hostname: datanode2
    volumes:
      - ./data/datanode2:/opt/hadoop-2.10.1/data/datanode
    environment:
      - HADOOP_ROLE=DATANODE
      - NAMENODE_HOST=namenode
      - RESOURCEMANAGER_HOST=resourcemanager
    command: ["/opt/hadoop/bin/hadoop", "datanode"]
    depends_on:
      - namenode
    networks:
      hadoop:
        ipv4_address: 172.16.238.12

  resourcemanager:
    image: hadoop
    container_name: resourcemanager
    hostname: resourcemanager
    ports:
      - "8080:8080"
    environment:
      - HADOOP_ROLE=RESOURCEMANAGER
      - NAMENODE_HOST=namenode
      - RESOURCEMANAGER_HOST=resourcemanager
    command: ["/opt/hadoop/bin/yarn", "resourcemanager"]
    depends_on:
      - namenode
    networks:
      hadoop:
        ipv4_address: 172.16.238.20

  nodemanager1:
    image: hadoop
    container_name: nodemanager1
    hostname: nodemanager1
    environment:
      - HADOOP_ROLE=NODEMANAGER
      - NAMENODE_HOST=namenode
      - RESOURCEMANAGER_HOST=resourcemanager
    command: ["/opt/hadoop/bin/yarn", "nodemanager"]
    depends_on:
      - namenode
      - resourcemanager
    networks:
      hadoop:
        ipv4_address: 172.16.238.21

  nodemanager2:
    image: hadoop
    container_name: nodemanager2
    hostname: nodemanager2
    environment:
      - HADOOP_ROLE=NODEMANAGER
      - NAMENODE_HOST=namenode
      - RESOURCEMANAGER_HOST=resourcemanager
    command: ["/opt/hadoop/bin/yarn", "nodemanager"]
    depends_on:
      - namenode
      - resourcemanager
    networks:
      hadoop:
        ipv4_address: 172.16.238.22

networks:
  hadoop:
    driver: bridge
    ipam:
      driver: default
      config:
        - subnet: 172.16.238.0/24

在该Docker Compose文件中，我们定义了一个包含一个NameNode、两个DataNode、一个ResourceManager和两个NodeManager的集群。我们使用了Hadoop镜像，并指定了容器名称、主机名、端口映射、数据卷、环境变量和命令。我们还使用了depends_on来定义容器之间的依赖关系。最后，我们定义了一个名为hadoop的网络，并指定了IP地址。

4. 启动Hadoop集群

在编写完Docker Compose文件之后，我们可以使用以下命令启动Hadoop集群：

docker-compose up -d

该命令会启动Hadoop集群，并在后台运行。运行完该命令后，可以使用以下命令检查容器是否已经启动：

docker ps

5. 访问Hadoop集群

启动完Hadoop集群之后，可以在浏览器中访问以下地址来查看Hadoop集群的状态：

http://localhost:50070/dfshealth.html
http://localhost:8088/

至此，完成了在Docker中搭建Hadoop集群的过程。