Hadoop实战：命令行执行jar包的多种方式

"这篇文档介绍了使用Java命令执行jar包的不同方法，主要集中在Hadoop环境下的文件操作，包括从HDFS中列出文件、删除文件、复制文件到HDFS以及读取文件的内容。此外，还提到了MapReduce编程模型的简单应用。" 在Hadoop环境中，执行jar包通常是为了运行包含Hadoop MapReduce任务的Java应用程序。以下是四种方法的概述： 1. **列出HDFS中的文件** 使用`hadoop fs -ls`命令可以列出HDFS中的文件和目录。例如，`./bin/hadoop fs -ls`会显示根目录下的所有内容，而`./bin/hadoop fs -ls /path/to/directory`则会列出指定路径下的文件和子目录。 2. **查看HDFS文件内容** `hadoop fs -cat`命令用于输出HDFS中文件的内容。比如，`./bin/hadoop fs -cat readme.txt`将显示readme.txt文件的全部内容。 3. **从HDFS删除文件** 删除HDFS中的文件可使用`hadoop fs -rm`命令。在文档中提到的例子中，创建了一个名为`FileDelete.java`的Java程序，该程序实现了删除HDFS上指定文件的功能。用户需要编译源代码，打包成jar包，然后通过`hadoop jar`命令执行删除操作。 4. **文件操作的Java源代码示例** - `FileDelete.java`: 这个文件包含删除HDFS文件的逻辑，通过调用Hadoop的API来实现文件的删除。 - `FileCopy.java`: 用于将本地文件系统中的文件复制到HDFS。 - `FileCat.java`: 提供了从HDFS读取文件并输出到控制台的功能。 5. **MapReduce简介** 文档还简要介绍了MapReduce编程模型，用于处理和生成大数据集。MapReduce分为两个主要阶段：Map阶段和Reduce阶段。Map阶段将输入数据分割，对每个部分应用用户定义的映射函数；Reduce阶段则聚合映射阶段的结果。`WordCount`程序是MapReduce的经典示例，它计算文本文件中单词出现的次数。 6. **MapReduce程序的编写和执行** - `TokenizerMapper.java`: 定义了映射函数，负责分割输入行并生成键值对。 - `IntSumReducer.java`: 包含reduce函数，负责将相同键的值进行求和。 - `WordCount.java`: 主类，设置MapReduce作业的配置并运行它。 通过这些步骤，用户可以在Hadoop环境中执行Java程序，进行文件操作，并利用MapReduce处理大规模数据。理解这些基本操作对于任何希望在Hadoop生态系统中工作的人来说都是至关重要的。