第 1 页 共 7 页 出自石山园，博客地址：http://www.cnblogs.com/shishanyuan
Pig 介绍、安装与应用案例
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明
显位置给出原文连接，博主为石山园，博客地址为 http://www.cnblogs.com/shishanyuan 。
该系列课程是应邀实验楼整理编写的，这里需要赞一下实验楼提供了学习的新方式，可以边看博
客边上机实验，课程地址为
【注】该系列所使用到安装包、测试数据和代码均可在百度网盘下载，具体地址为
http://pan.baidu.com/s/10PnDs，下载该
https://www.shiyanlou.com/courses/237
PDF 文件
1 搭建环境
部署节点操作系统为 CentOS，防火墙和 SElinux 禁用，创建了一个 shiyanlou 用户并在系
统根目录下创建/app 目录，用于存放 Hadoop 等组件运行包。因为该目录用于安装 hadoop
等组件程序，用户对 shiyanlou 必须赋予 rwx 权限（一般做法是 root 用户在根目录下创建/app
目录，并修改该目录拥有者为 shiyanlou(chown –R shiyanlou:shiyanlou /app）。
Hadoop 搭建环境：
虚拟机操作系统： CentOS6.6 64 位，单核，1G 内存
JDK：1.7.0_55 64 位
Hadoop：1.1.2
2 Pig 介绍
Pig 是 yahoo 捐献给 apache 的一个项目，使用 SQL-like 语言，是在 MapReduce 上构建
的一种高级查询语言，把一些运算编译进 MapReduce 模型的 Map 和 Reduce 中。Pig 有两种
运行模式： Local 模式和 MapReduce 模式
本地模式：Pig 运行于本地模式，只涉及到单独的一台计算机
MapReduce 模式：Pig 运行于 MapReduce 模式，需要能访问一个 Hadoop 集群，并
且需要装上 HDFS
Pig 的调用方式：
Grunt shell 方式：通过交互的方式，输入命令执行任务；
Pig script 方式：通过 script 脚本的方式来运行任务；
评论0