Hadoop实战：1-4章作业详解与安全配置

本资源是一份关于Hadoop经典案例的学习笔记，主要包括了《炼数成金》课程中1-4章的书面作业。学习者首先需要完成Hadoop集群的安装，包括在特定硬件环境下（如HP Probook 4411s，T6670 CPU，4GB内存，VMware Workstation 10.0虚拟机，Windows 7主机与CentOS-6.5-i386虚拟机上安装Hadoop 1.0.3），以及详细的安装步骤，如配置hosts文件、创建运行用户、设置SSH免密码登录、编辑site文件、调整hadoop-env.sh和masters/slaves配置等。 第二部分是实践性的实验研究，涉及到对Hadoop安全性增强和故障恢复。作业要求在老师的授课内容基础上进行拓展： 1. 实现web监控界面的安全机制： - 设置初始状态，包括配置core-site.xml文件并将其复制到其他节点。 - 创建hadoop-http-auth-signature-secret文件并传输至节点。 - 重启Hadoop服务，通过Web浏览器分别访问50070和50030端口，添加用户名验证以增强访问控制。 - 抓取和展示这个过程的截图。 2. 模拟Namenode故障恢复： - 清空Namenode默认目录name的内容，模拟故障。 - 关闭集群，然后在secondarynamenode上进行恢复操作。 - 展示恢复后的集群状态和操作流程的抓图。 此外，还包括在Hadoop集群中编译和运行《权威指南》中的例3.2，以及在本地生成一个200字节的文本文件作为基础练习。这份作业旨在深化理解和应用Hadoop的基本概念和技术，通过实际操作提高问题解决能力。