"大数据平台搭建与运维课件2大数据搭建与运维（项目二）.docx"
本课件主要涵盖了大数据平台的搭建与运维过程，具体包括了两个关键任务：配置JDK和设置SSH免密登录。以下是这两个任务的详细说明：
### 任务一：配置JDK
#### 1. 下载JDK软件包
为了搭建大数据平台，首先需要安装Java Development Kit (JDK)，通常建议使用Java SE 8。可以从Oracle官网下载，但需要注册账户，也可以选择使用提供的百度网盘链接进行下载。在选择版本时，应确保与系统的CPU架构相匹配，对于Linux系统，一般选择Linux X64版本。
#### 2. 安装JDK
下载的JDK软件包应解压缩到指定目录，如 `/usr/local`。例如，将JDK 1.8.0_181解压缩至此路径。
#### 3. 编辑环境变量
为了使系统识别并使用新安装的JDK，需要编辑环境变量文件`/etc/profile`。在文件末尾添加以下内容，以设置`JAVA_HOME`, `CLASSPATH` 和 `PATH`：
```bash
#thisisjavaconfigration
export JAVAHOME=/usr/local/jdk1.8.0_181
export CLASSPATH=$JAVAHOME/jre/lib/ext:$JAVAHOME/lib/tools.jar
export PATH=$JAVAHOME/bin:$PATH
```
#### 4. 加载环境变量
更新了环境变量文件后，需要运行 `source /etc/profile` 命令，使改动生效。
#### 5. 测试JDK安装
通过运行 `java -version` 命令来检查JDK是否安装成功。如果输出显示正确的Java版本信息，即表示安装成功。
#### 6. 解决环境变量错误
如果环境变量配置出错导致命令无法使用，可以手工执行 `export PATH=/bin:/usr/sbin:/usr/bin` 来临时修复路径问题。
#### 7. 修改系统默认JDK
为了将新安装的JDK设为系统默认，可以使用 `update-alternatives` 命令：
```bash
sudo update-alternatives --install /usr/lib/jvm/java java /usr/local/jdk1.8.0_181/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /usr/local/jdk1.8.0_181/bin/javac 300
```
### 任务二：配置SSH免密登录
#### 1. 检查SSH服务
在进行SSH免密登录配置前，确认系统已安装`openssh-server`。在工程一中，我们已经通过Xshell连接安装了该服务，所以这里无需重复安装。
#### 2. SSH免密登录设置
SSH免密登录允许用户在不同主机间无密码地进行身份验证，这对于大数据集群的管理非常重要。以下是步骤：
- 生成SSH密钥对：在每个节点上运行 `ssh-keygen` 命令生成公钥和私钥。
- 将公钥复制到其他节点的`~/.ssh/authorized_keys` 文件中，例如使用 `ssh-copy-id user@remote_host`。
- 验证免密登录：尝试用 `ssh user@remote_host` 登录远程主机，如果不需要输入密码，说明配置成功。
### 总结
配置好JDK和SSH免密登录是大数据平台搭建的基础工作，确保了开发环境的稳定和高效运维。这些步骤对于后续安装Hadoop、Hive、Spark等大数据组件至关重要，因为它们依赖于Java环境，并且在多节点集群中频繁进行SSH通信。
我的内容管理
展开
