HDFS+MapReduce+Hive+HBase十分钟快速入门

HDFS+MapReduce+Hive+HBase 十分钟快速入门

目录

1.前言 ............................................................................................................................................... 1

2.Hadoop 家族 .................................................................................................................................. 2

3.演练环境........................................................................................................................................ 2

3.1. 操作系统........................................................................................................................... 3

3.2. Hadoop ............................................................................................................................... 3

3.3. Hive .................................................................................................................................... 3

4.2.修改/etc/hosts .................................................................................................................... 5

5.安装 Java ........................................................................................................................................ 5

6.安装 Hadoop .................................................................................................................................. 6

7.配置 HDFS ...................................................................................................................................... 6

7.1. 修改 hadoop-env.sh .......................................................................................................... 6

7.2. 修改 core-site.xml ............................................................................................................. 7

7.2.1.hadoop.tmp.dir ........................................................................................................ 7

7.2.2.fs.default.name ........................................................................................................ 7

7.3.修改 masters ............................................................................................................... 8

7.4.修改 slaves .................................................................................................................. 8

9.3. 编译 Hive ................................................................................................................ 11

10.安装 HBase ................................................................................................................................ 11

11.体验 ........................................................................................................................................... 12

1.前言

本文的目的是让一个从未接触 Hadoop 的人，在很短的时间内快速上手，掌握编译、安装和

简单的使用。

2.Hadoop 家族

整个 Hadoop 家族由以下几个子项目组成：

Avro Avro 是 doug cutting 主持的 RPC 项目，有点类似 Google 的 protobuf 和 Facebook 的 thrift。

avro 用来做以后 hadoop 的 RPC，使 hadoop 的 RPC 模块通信速度更快、数据结构更紧凑。

Chukwa Chukwa 是基于 Hadoop 的大集群监控系统，由 yahoo 贡献。

HBase 基于 Hadoop Distributed File System，是一个开源的，基于列存储模型的分布式数据库。

HDFS 分布式文件系统

Hive hive 类似 CloudBase，也是基于 hadoop 分布式计算平台上的提供 data warehouse 的 sql

MapReduce 模型的 Map 和 Reduce 中，并且用户可以定义自己的功能。Yahoo 网格运算部门

开发的又一个克隆 Google 的项目 Sawzall。

ZooKeeper Zookeeper 是 Google 的 Chubby 一个开源的实现。它是一个针对大型分布式系统

的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper

的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统

提供给用户。

3.演练环境

Hive 通过 SVN 直接从网上下载原代码，其它采用 hadoop-0.20.0.tar.gz 二进制安装包，所以

只需要编译 Hive。

另外，请注意不要下载 2009-8-19 号的 Hive，2009-8-19 提交的 Hive 版本在 hadoop-0.20.0.tar.gz

上编译通不过，原因是：

Hive 源代码根目录\ql\src\java\org\apache\hadoop\hive\ql\exec\FileSinkOperator.java 文件中

多了一行：

import org.apache.hadoop.io.compress.LzoCodec;

译时需要使用到 ant 和 ivy 两个工具，而且依赖于 Hadoop。

3.4. Java

运行 Hadoop 和编译 Hive，都需要使用到 Java，所以需要第一个安装的是 Java。

3.5. 机器

演练时，在 3 台机器上搭建 Hadoop 集群，假设这 3 台机器如下表所示：