用java写一个完整的能跑通的MapReduce程序用于读取csv文件中第五列的20171203的数据类型并把它转换为2017-12-03的数据类型的完整程序

在Java中，我们可以使用Hadoop MapReduce框架来处理大文件，如CSV，尤其是当数据量巨大时。以下是一个简单的MapReduce程序示例，它读取CSV文件中的第五列（假设是字符串格式），然后将其转换为日期格式"YYYY-MM-DD"。

首先，确保你已经安装了Hadoop，并配置了环境变量。这个例子假设你的CSV文件名为`input.csv`，并且第五列的数据格式是四位数年份、两位数月份和两位数日期。

// Mapper.java
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class CSVMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] fields = value.toString().split(",");
        if (fields.length >= 5) {
            // 提取第五列
            String dateStr = fields[4];
            // 将字符串转换为日期格式 "yyyyMMdd"
            try {
                SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMdd");
                Date date = sdf.parse(dateStr);
                // 把日期格式化为我们需要的 "yyyy-MM-dd"
                String formattedDate = sdf.format(date);
                word.set(formattedDate);
                context.write(word, one);
            } catch (ParseException e) {
                throw new RuntimeException(e);
            }
        }
    }
}

// Reducer.java
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class CSVReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        context.write(key, new IntWritable(sum));
    }
}

// Driver.java (主入口)
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class CSVDriver {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "CSV to Date Converter");

        job.setJarByClass(CSVDriver.class);
        job.setMapperClass(CSVMapper.class);
        job.setCombinerClass(CSVReducer.class); // 如果不需要分片再合并结果，可以省略这行
        job.setReducerClass(CSVReducer.class);

        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

要运行此程序，请在命令行中执行：

hadoop jar your-jar-file.jar CSVDriver input_dir output_dir

其中`your-jar-file.jar`是你编译后的JAR文件名，`input_dir`是包含`input.csv`的HDFS目录，`output_dir`是你要保存输出结果的地方。

注意：这个例子没有错误处理，实际应用中你需要添加适当的异常处理，比如检查文件是否存在、格式是否正确等。