Hive实战笔记:从安装配置到新零售应用

版权申诉
0 下载量 103 浏览量 更新于2024-11-09 收藏 6.69MB ZIP 举报
资源摘要信息:" Hive实战笔记. 新零售的从零到应用. 包含所有思路与代码.zip" 知识点一:Hive简介 Hive是一个建立在Hadoop之上的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行执行。Hive非常适合进行数据挖掘,它简化了Hadoop上复杂的数据分析工作。 知识点二:Hive安装与配置步骤详解 1. Hive不是Hadoop自带组件,需要从官方下载。文档中提到使用的是Hive 1.2.1版本,用户可以通过指定的链接下载到相应的安装包。 2. 下载完毕后,需要解压安装包到指定目录,这里解压至/usr/local路径下,并将文件夹重命名为hive,以简化后续操作。 3. 更改文件权限,确保hadoop用户可以操作Hive,以便于后续使用。 4. 配置环境变量,通过编辑.bashrc文件,将Hive的安装路径加入到PATH变量中,使得Hive可以像其他系统命令一样被调用。 5. 为了使配置立即生效,需要运行source命令来重新加载.bashrc文件。 6. 修改配置文件,Hive的配置文件位于conf目录下,一般需要修改的配置文件包括hive-site.xml、hdfs-site.xml等,根据具体需求设置。 知识点三:Hive元数据存储 Hive默认使用内嵌的Derby数据库存储元数据,但在生产环境中,用户往往倾向于使用更加强大的MySQL数据库来存储元数据。文档中提到了在Ubuntu系统中安装MySQL的步骤,MySQL的安装对于Hive来说是一个重要的步骤,因为Hive需要MySQL来存储和管理表结构等元数据。 知识点四:MySQL数据库安装与管理 文档概述了在Ubuntu系统中安装MySQL的步骤,用户需要按照文档中的步骤执行,以便Hive能够使用MySQL作为其元数据存储解决方案。 知识点五:Ubuntu系统环境下的软件安装与配置 文档虽然没有详细说明,但可以推测,整个安装过程是在Ubuntu系统下完成的。Ubuntu系统作为常用的Linux发行版,其下软件安装和配置步骤与RedHat系的Linux略有不同,文档可能涵盖了一些基础的Linux命令和操作步骤,帮助用户完成软件安装和配置。 知识点六:Hive实战应用 从文件名“新零售的从零到应用”可以推断,该文档不仅包括Hive的安装和配置,还应该包括如何将Hive应用到实际的数据分析工作中去,例如新零售场景中的数据挖掘和查询分析。这通常涉及HiveSQL的使用,以及如何利用Hive来处理大规模数据集。 文件资源列表中提到的“新建文本文档.txt”可能包含了上述步骤的具体命令和操作指南,而“hive_xls-master”则可能是一个有关Hive的项目或代码库,其中“hive_xls”可能指的是将Excel数据导入Hive的方法或工具。