在Yosemite上用NodeJS和Python使用Hadoop Streaming

资源摘要信息:"Hadoop Streaming 是一个实用工具，它允许用户使用任何可执行文件或脚本语言（如 Python、NodeJS）编写 MapReduce 程序。本文介绍了在苹果的 Yosemite 操作系统上使用 NodeJS 和 Python 进行 Hadoop Streaming 的配置过程。首先，需要设置环境变量 HADOOP_HOME 来定位 Hadoop 安装目录。接下来，需要配置 Hadoop Streaming 相关的映射器（Mapper）和减速器（Reducer），以及如何下载和上传数据源。最后，执行 Map/Reduce 作业，并下载作业结果。 在配置 HADOOP_HOME 时，需要在终端中检查 HADOOP_PATH 环境变量是否已经设置。如果未设置，需要定位到 Hadoop 的安装目录，并正确配置 HADOOP_PATH。由于使用了 Brew（一种包管理工具），配置过程可能与在 Mavericks 上的安装教程有所不同。本文将介绍如何在这些条件下执行 Hadoop Streaming。 对于熟悉 Python 的开发者，可以参考已经编写好的 MapReduce 教程。由于环境配置的差异，可能需要对教程中的配置步骤进行适当的修改。对于有兴趣使用 NodeJS 进行 Hadoop Streaming 的开发者，本文将提供必要的步骤和指导。 在执行 Map/Reduce 作业之前，需要将数据源上传到 Hadoop 分布式文件系统（HDFS）中。完成 Map/Reduce 作业后，需要从 HDFS 中下载结果，并可以将其用于进一步的分析或报告。 以下是对 Hadoop Streaming 在 Yosemite 上使用 NodeJS 或 Python 的详细步骤和知识点的总结： 1. 确保已安装 NodeJS 或 Python 环境。NodeJS 和 Python 都是脚本语言，能够快速编写 MapReduce 程序。 2. 熟悉 Hadoop 基础知识，了解 Hadoop 架构，特别是 HDFS 和 MapReduce 概念。 3. 设置 HADOOP_HOME 环境变量。打开终端，使用 echo $HADOOP_HOME 查看环境变量是否已经设置。如果未设置，需要编辑 ~/.bash_profile 或 ~/.bashrc 文件，添加如下内容： export HADOOP_HOME=/path/to/your/hadoop/installation export PATH=$PATH:$HADOOP_HOME/bin 4. 配置 Hadoop Streaming。需要下载 Hadoop Streaming 的 jar 文件，并将其放在 HADOOP_HOME 下的 contrib/streaming 目录中。 5. 编写映射器和减速器。映射器的任务是处理输入数据并输出键值对，而减速器则是处理映射器输出的键值对并生成最终结果。 6. 将数据源上传到 HDFS。使用 hadoop fs -put localfile /hdfs_path 命令将本地文件系统中的文件上传到 HDFS。 7. 运行 Map/Reduce 作业。使用如下命令格式运行 Map/Reduce 作业： hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming.jar \ -mapper mapper.py \ -reducer reducer.py \ -input /hdfs_input_path \ -output /hdfs_output_path 8. 下载结果。使用 hadoop fs -get /hdfs_output_path local_result_path 将结果从 HDFS 下载到本地文件系统。 9. 参考文档。如果在配置和执行过程中遇到问题，可以通过阅读官方文档或搜索相关的教程和资料来获得帮助。 10. 注意调试和日志记录。对于复杂的 MapReduce 作业，适当的调试和日志记录能够帮助快速定位和解决问题。 以上步骤和知识点涵盖了在 Yosemite 系统上使用 NodeJS 或 Python 进行 Hadoop Streaming 的基本流程。熟悉这些步骤后，开发者可以利用 Hadoop 强大的分布式计算能力，解决大规模数据处理的需求。"