VMware搭建Ubuntu16.04三节点Hadoop-2.7.1+Hbase-1.2.4完全分布式教程

"这篇文章主要介绍了如何使用VMware 12 Pro在三台Ubuntu 16.04虚拟机上搭建Hadoop 2.7.1和Hbase 1.2.4的完全分布式环境，旨在提供一个详尽的教程，解决安装过程中可能遇到的权限和配置问题。" 在构建Hadoop和Hbase的完全分布式系统时，首先需要一个稳定的环境。作者选择了VMware Workstation 12 Pro作为虚拟化平台，并在其中创建了三台Ubuntu 16.04虚拟机，分别命名为master、slave1和slave2，它们将分别扮演NameNode、DataNode和DataNode的角色。确保所有虚拟机的网络配置正确，例如文中提到的IP地址：192.168.190.128 (master), 192.168.190.129 (slave1), 和 192.168.190.131 (slave2)。 在进行安装前，必须在所有系统中安装两个关键组件： 1. JDK 1.6 或更高版本：由于Hadoop是用Java编写的，因此需要Java Development Kit (JDK) 1.6或更新版本。在本例中，选择了JDK 1.7。JDK是运行和编译Hadoop及其MapReduce任务所必需的。 2. SSH (OpenSSH)：Hadoop通过Secure Shell (SSH) 来启动slave节点的守护进程，无论是分布式还是伪分布式环境，SSH都是必不可少的。对于伪分布式，Hadoop会启动conf/slaves文件中列出的本地主机上的进程。 搭建Hadoop分布式环境的步骤包括： 1. 创建并配置用户：首先，需要创建一个名为'hadoop'的新用户，并为其分配适当的权限。这通常涉及到修改用户组设置，以及设置文件和目录的权限，以确保Hadoop服务可以正确地访问和操作。 2. 安装Hadoop：下载Hadoop的相应版本，并解压到一个合适的目录，如/home/hadoop。接着，根据Hadoop的官方文档进行配置，包括修改`etc/hadoop/core-site.xml`（存储配置）、`hdfs-site.xml`（HDFS配置）、`yarn-site.xml`（YARN配置）和`mapred-site.xml`（MapReduce配置）等文件。 3. 初始化NameNode：在master节点上执行初始化NameNode的命令，如`hdfs namenode -format`，这将创建HDFS的元数据。 4. 配置 slaves 文件：在master节点的`etc/hadoop/slaves`文件中，列出所有DataNode（slave）的主机名或IP地址。 5. 同步配置：使用`scp`命令将master节点的Hadoop配置复制到其他两台slave节点，确保所有系统配置一致。 6. 启动和测试Hadoop集群：在master节点上启动Hadoop的各个服务，如NameNode、DataNode、ResourceManager、NodeManager等。然后，可以进行一些基本的HDFS操作和MapReduce作业，以验证集群是否正常工作。 7. 安装Hbase：Hbase是建立在Hadoop之上的分布式数据库，同样需要配置相应的环境变量，如HADOOP_CLASSPATH，并根据Hbase的官方文档调整其配置文件（如`hbase-site.xml`）。配置完成后，同步到其他slave节点，并启动Hbase Master和RegionServer。 8. 测试Hbase：通过Hbase的Shell或者Java API创建表、插入数据、查询数据，以确认Hbase在集群上运行正常。 这个教程的目标是为初学者提供一个清晰的步骤指南，帮助他们在虚拟环境中搭建一个与真实集群相似的Hadoop和Hbase环境，以便学习和实验。请注意，运行这样的分布式环境可能需要较高的硬件资源，因此建议确保你的计算机配置足够运行多个虚拟机。