构建与应用：腾讯云上原生Hadoop集群详解

《原生Hadoop大数据平台构建与应用》是一本由Kingliu撰写的专业书籍，主要讲解如何在腾讯云环境中构建和应用一个基于Hadoop的分布式大数据平台。该指南详细介绍了从集群规划到安装配置的步骤，旨在帮助读者理解和实践大数据处理的基础设施搭建。 首先，集群规划阶段主要包括以下几个关键步骤： 1. **基本环境配置**：以两台Linux服务器作为主从节点，选用CentOS7操作系统，并提供详细的配置参数，如表1-1所示，这些配置涉及到网络配置、防火墙设置、主机名设定等。 2. **准备工作**：作者指导用户上传必要的软件包，如JDK、Ambari（Hadoop管理工具）、HDP（Hadoop Distribution Pack）和HDP-UITSL镜像到服务器的`/opt`目录，并创建`bigdata`和`centos7`两个目录。 3. **远程工具Xshell6的使用**：介绍如何通过Xshell连接到云主机，包括设置连接信息、选择终端类型和字符编码。 4. **关闭firewall系统防火墙**：确保网络通信的畅通，通过命令行关闭防火墙。 5. **解压和挂载操作**：演示如何使用`tar`命令解压缩文件，并将CentOS7镜像挂载到指定目录以便后续操作。 在安装配置部分，主要内容包括： - **安装JDK**：在主从节点上同步安装Java开发工具包，这是Hadoop运行的基础。 - **配置主机名**：确保每个节点有唯一的名称，方便管理和识别。 - **修改IP-主机映射**：将虚拟机的IP地址替换为实际的云主机地址，以实现网络通信。 - **SSH免密码登录**：为了简化运维操作，设置SSH免密码登录功能，确保安全的同时提升效率。 最后，书中还会涉及如何检查节点间无密码访问的可行性以及优化操作系统性能，例如禁用Transparent Huge Pages，以减少内存碎片并提高性能。 《原生Hadoop大数据平台构建与应用》是一本实用的指南，涵盖了从基础环境搭建到高级配置的全过程，对于希望在腾讯云环境中部署和管理Hadoop集群的读者来说，是一份宝贵的参考资料。