Ubuntu下Hadoop配置与运行详解

本篇文档详细介绍了在Ubuntu环境下配置和运行Hadoop的步骤，适合对Hadoop技术感兴趣的读者参考。作者是来自上海电力学院计算机与信息工程学院的周耀君，其QQ号为648134235，文档记录了个人在Ubuntu 9.10上部署Hadoop 0.20.0的实践经验。 首先，对于系统的资源需求，作者建议使用最新的Ubuntu 9.10，可以从官方网站www.ubuntulinux.org免费获取，或者通过Ubuntu社区的shipit.ubuntu.com申请安装。此外，必备的软件包包括Hadoop 0.20.0（可从Apache镜像服务器下载，地址www.apache.org/download），Sun Java 6 JDK，用于Java开发环境，可以通过apt-get命令安装。SSH包（Secure Shell）用于远程登录的安全性，同样通过apt-get install ssh来安装。为了开发和测试，Eclipse集成开发环境也被推荐，用户需访问www.eclipse.org/downloads/下载最新版本。 配置流程分为以下几个步骤： 1. **安装Ubuntu 9.10**：首先确保操作系统的选择和安装，这是Hadoop部署的基础。 2. **更新软件包列表**：使用`sudo apt-get update`确保软件源是最新的。 3. **系统更新**：通过`sudo apt-get upgrade`安装可能存在的系统升级，提升系统的稳定性和兼容性。 4. **安装JDK**：使用`sudo apt-get install sun-java6-jdk`安装Java Development Kit，安装过程中可能会提示用户选择安装路径，默认位置是`/usr/lib/jvm`。 5. **设置默认Java环境**：通过`sudo update-alternatives --config java`将安装的JDK设置为默认，然后使用`sudo update-java-alternatives -s java-6-sun`确保指定的JDK被选中。 6. **配置环境变量**：编辑系统环境变量，设置CLASSPATH和JAVA_HOME，这对于Hadoop应用的正确运行至关重要，通常会在`/etc/`目录下进行设置。 接下来，文档展示了如何进行单节点和单机伪分布模式的Hadoop配置与运行，以及在两台机器之间进行分布式部署，对比伪分布和完全分布的区别。最后，作者指导读者如何在Eclipse环境下运行Hadoop自带的wordcount示例，这有助于理解和掌握Hadoop的基本操作和编程实践。 这篇文档提供了一个实用的指南，对于想要在Ubuntu上搭建并学习Hadoop的开发者来说，无论是初学者还是有一定经验的技术人员，都能从中获得有价值的信息。