该文档是关于在树莓派上安装Java JDK、Hadoop和Hive的详尽教程,适合新手,通过一步步的操作指南,帮助用户完成环境搭建。 ### 基础配置 首先,为了远程连接和管理树莓派,需要开启SSH服务,并创建必要的文件目录: 1. 启动SSH服务:`sudo /etc/init.d/ssh start` 2. 在根目录创建"data"目录并进入:`cd / && mkdir data && cd data` 3. 创建"ssh"目录并进入:`mkdir ssh && cd ssh` 4. 使用`ssh-keygen`命令生成一对SSH密钥(id_dsa和id_dsa.pub):`ssh-keygen -t dsa -P '' -f /data/ssh/id_dsa` 5. 将公钥(id_dsa.pub)追加到授权文件`authorized_keys`中:`sudo su && cat /data/ssh/id_dsa.pub >> /data/ssh/authorized_keys && su - pi` 6. 使用SSH登录树莓派:`ssh localhost` ### JDK安装 1. 查询可用的JDK版本:`apt-get search jdk` 2. 安装稳定版的OpenJDK 1.8:`sudo apt-get install openjdk-8-jdk` 3. 配置环境变量,确保JDK路径被添加到系统路径中: - 编辑`/etc/profile`:`sudo vi /etc/profile` - 添加以下内容: ``` export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-armhf export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib export PATH=$PATH:$JAVA_HOME/bin ``` 4. 使环境变量生效:`source /etc/profile` ### Hadoop 2.7.7安装 1. 进入"data"目录:`cd /data` 2. 创建"hadoop"目录并进入:`mkdir hadoop && cd hadoop` 3. 下载Hadoop 2.7.7:`wget http://apache.fayea.com/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz` 4. 解压缩Hadoop包:`tar -zxvf hadoop-2.7.7.tar.gz` 至此,基础配置和JDK安装已完成,Hadoop也已下载,但还需要进行Hadoop的相关配置与启动,包括配置Hadoop环境变量、设置HDFS目录、修改配置文件等。在实际操作中,还需根据树莓派的具体情况调整Hadoop的内存分配和其他参数,以确保其在有限的硬件资源下正常运行。 ### Hive安装 Hive的安装通常需要依赖已安装的Hadoop环境,因为Hive是构建在Hadoop之上的数据仓库工具。在树莓派上安装Hive,首先需要下载并解压Hive的相应版本,然后配置Hive的环境变量,如`HADOOP_HOME`、`HIVE_HOME`等,并在`hive-site.xml`中设置数据库连接等参数。最后,可能还需要安装MySQL或类似的数据库作为Hive的元数据存储。 在树莓派上搭建Hadoop和Hive环境,虽然挑战性较大,但这个教程提供了一个清晰的步骤,使得即使没有经验的用户也能尝试搭建。然而,由于树莓派的硬件资源有限,可能需要对Hadoop和Hive的默认配置进行优化,以适应其较低的内存和CPU性能。在实际操作时,建议根据树莓派的实际情况进行调整,并进行充分的测试,以确保所有组件都能稳定运行。
---------------------------
-- 打开SSH,以便远程连接
1.sudo /etc/init.d/ssh start
-- 根目录创建data目录并进入
2.cd /
3.mkdir data
4.cd data
-- 创建ssh目录并进入
5.mkdir ssh
6.cd ssh
-- 在ssh文件夹下创建两个文件id_dsa及id_dsa.pub,这是一对私钥和公钥
7.ssh-keygen -t dsa -P '' -f /data/ssh/id_dsa
-- 把id_dsa.pub(公钥)追加到授权的key里面去
-- 使用root帐号进行操作,操作完毕后切回原用户
8.sudo su
9.cat /data/ssh/id_dsa.pub >> /data/ssh/authorized_keys
10.su - pi
-- 登录ssh,第一次会询问是否继续,输入yes即可,输入当前登录帐号密码
11.ssh localhost
-- 开启ll别名,使用ls -l更快捷
12.sudo vi ~/.bashrc
13.alias ll='ls -l'
14.source ~/.bashrc
jdk安装
---------------------------
-- 先查询jdk版本
15.apt-get search jdk
-- 选择相对稳定1.8版本安装
-- 配置环境变量,并增加以下内容
17.sudo vi /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-armhf
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
hadoop-2.7.7安装
---------------------------
-- 打开data目录
18.cd /data
-- 创建hadoop目录并进入
19.mkdir hadoop
20.cd hadoop
-- 下载hadoop-2.7.7
21.wget http://apache.fayea.com/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
-- 解压hadoop-2.7.7
22.tar -zxvf hadoop-2.7.7.tar.gz
-- 修改/data/hadoop/hadoop-2.7.7/etc/hadoop/hadoop-env.sh指定jdk的安装目录
23.cd /data/hadoop/hadoop-2.7.7/etc/hadoop
24.vi hadoop-env.sh
25.export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-armhf
-- 配置环境变量,并增加以下内容
26.sudo vi /etc/profile
export HADOOP_HOME=/data/hadoop/hadoop-2.7.7
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/bin
-- 创建一个hadoop运行时产生文件的存储路径文件夹temp
27.cd /data/hadoop/hadoop-2.7.7
剩余7页未读,继续阅读
- 粉丝: 1
- 资源: 1
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 51单片机驱动DS1302时钟与LCD1602液晶屏万年历设计
- React 0.14.6版本源码分析与组件实践
- ChatGPT技术解读与应用分析白皮书
- 米-10直升机3D模型图纸下载-3DM格式
- Tsd Music Box v3.02:全面技术项目源码资源包
- 图像隐写技术:小波变换与SVD数字水印的Matlab实现
- PHP图片上传类源码教程及资源下载
- 掌握图像压缩技术:Matlab实现奇异值分解SVD
- Matlab万用表识别数字仪表教程及源码分享
- 三栏科技博客WordPress模板及丰富技术项目源码资源下载
- 【Matlab】图像隐写技术的改进LSB方法源码教程
- 响应式网站模板系列:右侧多级滑动式HTML5模板
- POCS算法超分辨率图像重建Matlab源码教程
- 基于Proteus的51单片机PWM波频率与占空比调整
- 易捷域名查询系统源码分享与学习交流平台
- 图像隐写术:Matlab实现SVD数字水印技术及其源码