没有合适的资源?快使用搜索试试~ 我知道了~
首页win10下搭建Hadoop环境(jdk+mysql+hadoop+scala+hive+spark) 3.docx
资源详情
资源评论
资源推荐
大数据 Hadoop
目录
下搭建大数据环境
开发环境概述
注意事项
安装
安装
下载安装
替换
环境配置
启动 :
验证
停止 服务 !
安装 !
下载 !
安装
环境变量配置
验证
安装 "
" 概述
#$% 数据库
下载安装
创建几个目录
的 & 下缺失文件
配置
启动
关闭 " 里面 ' 信息的两种方法(这个不能配,否则 无法启动)
!" 数据库操作
安装
环境配置
启动验证
()" 整合
为什么要进行整合?
修改 下的 *(错的,不能修改)
拷贝 文件 * 到 ' 下
拷贝 $% 驱动到 !
和 % !
整合成功标志
+ 连接服务
1,45
大数据 Hadoop
+ 连接 和 % 格式
+ 连接 "()
+ 连接 %(-)
+ 连接 $%
!& 操作
下大数据环境总结
2,45
大数据 Hadoop
1 win10 下搭建大数据环境
1.1开发环境概述
1.1.1 hadoop+scala+hive+Spark
()下安装 必须先安装 和 ,如果只是玩
的话,就不需要安装 ,如果想玩 或者是需要去
取数据的话,就应该先装 。另外,如果需要通过 从大数据平台进行
查询操作,则需要在 和 之间安装 数据仓库。所以安装顺序是
、、、、,需要注意的是,、、 三者的
环境变量配置方法几乎一摸一样,核心是 变量的配置, 启动时,会自动
适配 、 的 变量,需要指出的是, 自带 !! ,而不
会使用安装版的 (感觉安装的 !!" 没什么用,估计仅仅是用于开发吧)。
在需要启动 ,则才能启动客户端的 #,# 是替代 命
令的,在 # 下可以执行 ,跟在 下执行 $ 的命令应该是一样
的,也就是说 %&$%及 #%三者都是执行 语句的,基本一样。
命令 连接用户 执行计算框架 说明 备注
#
登录的集群用
户
'(
使用此命令可以以命令行的方式访问
)*+, -,进行 的元数据服务访
问,以及执行查询语句等。
原生
$
登录的集群用
户
-
使用此命令可以很方便的访问 的元数据
服务,并且使用命令行的形式执行查询等服
务。
- 命
令
$
#
- 用户
-
使用此命令可以以命令行的方式访问
)*+, -,进行 的元数据服务访
问,以及执行查询语句。
- 命
令
以下除了需要:
3,45
大数据 Hadoop
、通过 $!.
启动 的
./、.、、0 服务
、通过 $$ 1,启动 服务
其他如 、、 只要配置好,然后执行 $2$22#
四种命令都能使用 ,其中,在 $2# 操作数据库的命令可以完全替
代在 下操作数据库的命令。
1.1.2 注意事项
、)*3 版本建议用 !",用 !4 会报错
、所有软件的安装路径不能存在空格,特别是 ) 的安装路径
5、需要事先安装 ,6*7 及 7 配置,关键是在 下的四个
$!-. 、 .$!-. 、 $!-. 、 0$!-. 文 件 及 一 个
$!. 环境配置文件是核心,另外要删除 目录下的 # 和 ,将
$. 下的 # 和 目录拷贝到 下, 是唯一需
要启动服务:$!.,第一次启动前需要格式化:.$.
5、$ 的运行需要 环境,但 有自带的 !! 版本,同时也
需要事先安装 (先从网盘中下载 ,然后解压到电脑硬盘中,设置 环境
变量,配置变量名ì,686,值为解压的目录地址,然后到 769 中添加路径ì:
,686:;#)
<、配置 :变量名ìSPARK_HOME,变量值为解压的目录地址,最后到 769 中添
加路径ì%SPARK_HOME%\bin
,
测试:打开 . 窗口,输入ì$命令
=、 !- 以上版本的 # 目录下确实四个 . 文件,需要网上找才行。另外 需要
0>8 数据存储元数据
?、启动 前必须先启动 ($!.),才能连接上 的 4 端口
@、设置默认为系统管理员
首先ìA'B/,找到以下位置:3,C''D9C';;;D9;
,(E;6,.F/;80,新建一个字符串值,命名为 G;;0.5 ;
.!-,然后右键–修改ì–ì数值数据写入“'CD66*HDI,确定ì!
4,45
大数据 Hadoop
1.2安装 jdk1.8
安装 !",用 !4 会报错。
)!" 安装省略,只要确保在 . 下使用 $ 即可。
1.3安装 hadoop2.8.4
略,见上节。
1.3.1 下载安装 hadoop2.8.4
)下载 !"!<!!J
)解压 !"!<!!J,解压到 *G;;$ !"!< 下
1.3.2 替换 hadooponwindows-master
下载的 $.!J,解压,删除原 目录下的 # 和 ,
将 $. 下的 # 和 目录拷贝到 下。
1.3.3 环境配置
先在 G;;$ !"!<;下创建 及该文件夹下的 . 和 .
配置 :增加系统变量:
6*7K*G;;$ !"!<
769K*G;;$ !"!<;#
1.3.3.1 五个文件:4 个 xml+1 个 env.cmd
G22!#/!.20/#22" =""4"!.
1.3.3.2 配置 core-site.xml
编辑“*G;;$ !"!<;;I下的 core-site.xml 文件,将下列文本粘
贴进去,并保存;
LM/(%
5,45
剩余44页未读,继续阅读
chengzhb_csdn
- 粉丝: 1
- 资源: 12
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 27页智慧街道信息化建设综合解决方案.pptx
- 计算机二级Ms-Office选择题汇总.doc
- 单链表的插入和删除实验报告 (2).docx
- 单链表的插入和删除实验报告.pdf
- 物联网智能终端项目设备管理方案.pdf
- 如何打造品牌的模式.doc
- 样式控制与页面布局.pdf
- 武汉理工Java实验报告(二).docx
- 2021线上新品消费趋势报告.pdf
- 第3章 Matlab中的矩阵及其运算.docx
- 基于Web的人力资源管理系统的必要性和可行性.doc
- 基于一阶倒立摆的matlab仿真实验.doc
- 速运公司物流管理模式研究教材
- 大数据与管理.pptx
- 单片机课程设计之步进电机.doc
- 大数据与数据挖掘.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0