CDH 2.5 安装与配置详解：MySQL设置与Hive数据库创建

本文档详细介绍了在CentOS 6.5系统上安装CDH（Cloudera Distribution Hadoop）2.5版本的步骤，包括对MySQL数据库的配置和管理，以及Hive和Cloudera Manager的安装设置。以下是安装过程中涉及的关键知识点： 1. 确认MySQL已安装： - 使用`rpm-qa`或`grep mysql`命令检查是否已经安装了MySQL及其相关库，如`mysql-libs-5.1.73-3.el6_5.x86_64`。 - 使用`yum list | grep mysql`来列出所有MySQL相关的软件包。 2. 卸载旧版本MySQL： - 如果需要替换现有MySQL，可以使用`yum remove --nodeps mysql-libs`来卸载旧版MySQL库，确保没有依赖冲突。 3. 安装MySQL服务器及相关组件： - 使用`yum install yum mysql-server mysql-devel`来安装MySQL服务器及其开发工具。 4. 启动和配置MySQL服务： - 检查MySQL服务状态：`rpm-q mysql-server`。 - 使用`chkconfig --list | grep mysqld`确认服务已在启动列表中，并启用它：`chkconfig mysqld on`。 - 设置MySQL管理员密码：`mysqladmin -u root password 'root'`。 - 分配权限给root用户，允许远程访问：`GRANT ALL PRIVILEGES ON *.* TO 'root'@'cdh1' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES;` 以及 `GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES;` 5. 配置MySQL客户端连接参数： - 设置MySQL的字符集，如`[client] default-character-set=utf8 character_set_server=utf8 max_connections=1000`，以支持UTF-8编码。 6. 创建Hive和Cloudera Manager数据库： - 使用`CREATE DATABASE`命令创建Hive、Ambari Monitor (amon) 和 SCM (Service Monitor) 数据库，并指定字符集。 7. 下载并安装Cloudera Manager： - 使用`tar xvfz cloudera-manager*.tar.gz`解压Cloudera Manager安装包。 - 创建系统用户cloudera-scm，指定其家目录、Shell和注释信息。 8. Cloudera Manager安装与配置： - 使用`useradd`命令为Cloudera Manager创建用户，确保其权限设置正确，如无家目录且shell固定为`/bin/false`。 9. 安装目录设置： - Cloudera Manager的共享目录被设置为`/opt/cm-5.3.3/share/c`。 通过以上步骤，用户可以完成CDH 2.5的安装，包括数据库配置和管理，以及Cloudera Manager的部署，为后续的大数据处理和管理提供基础环境。这些操作涉及到Hadoop生态系统中的核心组件，如HDFS、MapReduce和YARN，以及管理和监控工具，如Ambari和Cloudera Manager，是大数据平台部署的重要环节。