虚拟机hadoophdfs文件上传并进行wordount

Hadoop HDFS (Hadoop Distributed File System) 是一个分布式文件系统，它作为Hadoop框架的核心组件，用于存储大量数据。在Hadoop环境中，上传文件通常是通过Hadoop命令行工具如`hadoop fs -put` 或者通过Hadoop的客户端API（例如Java API）来完成。

以下是一个简单的步骤概述：

1. **设置环境**：首先，你需要安装Hadoop，并配置好HDFS。确保Hadoop守护进程（NameNode和DataNodes）正在运行。

2. **上传文件**：
- 使用命令行：

     hadoop fs -put /path/to/local/file /path/in/hdfs

- 如果你在Java应用中操作，可以使用`FileSystem`接口：

     Configuration conf = new Configuration();
     FileSystem fs = FileSystem.get(conf);
     Path src = new Path("localFile.txt");
     Path dst = new Path("hdfs://namenode:port/path/in/hdfs");
     fs.copyFromLocalFile(src, dst);

3. **WordCount示例**：WordCount是一个经典的Hadoop MapReduce示例，它计算文本文件中的单词计数。你可以在上传文件之后，编写一个MapReduce程序来处理这个任务。首先，创建Mapper和Reducer，然后使用`Job`类提交作业：
- 创建Mapper和Reducer类，解析输入，将单词映射到键值对。
- 使用`Job`类配置mapreduce job，并指定输入、输出路径以及分片的数量。

4. **运行WordCount**：

   Job job = Job.getInstance(conf, "word count");
   job.setJarByClass(YourDriverClass.class); // Your driver class that contains Mapper and Reducer
   FileInputFormat.addInputPath(job, new Path(dst.toString()));
   FileOutputFormat.setOutputPath(job, new Path("/output/directory"));
   job.waitForCompletion(true);