开发工具 1、Jdk 2、Hadoop 3、Intellij Idea等 项目描述 本项目有一部分时间戳数据，请编写Mapreduce程序将这些时间戳按升序进行排序，同时转换成对应的date时间。 例如： 1100186731 1100185961 排序转换后： 1100185961, Thu Nov 11 23:12:41 CST 2004 1100186731, Thu Nov 11 23:25:31 CST 2004 时间戳数据： 1100183757 1100184447 1100185952 1100186732 1100186731 1100185961 1100183809 1100185915 1100184420 1100185924 1100186737 1100183797 1100186727 1100185932 1100183734 1100184820

好的，我们可以使用Hadoop MapReduce来实现时间戳数据的排序和转换。下面是一个示例程序：

1. 编写Mapper类

Mapper类的作用是将输入的时间戳数据解析成LongWritable类型的键值对，其中键是时间戳，值可以是任意类型，这里我们用LongWritable类型的1。

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class TimestampMapper extends Mapper<Object, Text, LongWritable, LongWritable> {

    private LongWritable timestamp = new LongWritable();

    public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        long ts = Long.parseLong(line.trim());
        timestamp.set(ts);
        context.write(timestamp, new LongWritable(1));
    }
}

2. 编写Reducer类

Reducer类的作用是将Mapper输出的键值对按照键进行排序，并将时间戳转换成对应的日期时间格式。由于Mapper输出的值没有实际作用，这里我们将Reducer的输入值设为LongWritable类型的1，输出值设为Text类型的日期时间格式。

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Date;

public class TimestampReducer extends Reducer<LongWritable, LongWritable, Text, Text> {

    private Text dateText = new Text();

    public void reduce(LongWritable key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
        long ts = key.get();
        SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        String date = sdf.format(new Date(ts * 1000));
        dateText.set(date);
        context.write(new Text(String.valueOf(ts)), dateText);
    }
}

3. 编写Driver类

Driver类的作用是组织MapReduce程序的运行流程，并设置相关的输入输出路径和格式。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class TimestampSort {

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        if (otherArgs.length != 2) {
            System.err.println("Usage: timestamps <input> <output>");
            System.exit(2);
        }
        Job job = Job.getInstance(conf, "Timestamp Sort");
        job.setJarByClass(TimestampSort.class);
        job.setMapperClass(TimestampMapper.class);
        job.setReducerClass(TimestampReducer.class);
        job.setOutputKeyClass(LongWritable.class);
        job.setOutputValueClass(LongWritable.class);
        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        TextInputFormat.addInputPath(job, new Path(otherArgs[0]));
        TextOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

4. 运行程序

在IntelliJ IDEA中，我们可以直接运行main函数来启动MapReduce程序。在运行程序之前，需要将时间戳数据文件上传到HDFS中，然后将文件路径作为MapReduce程序的输入路径，将输出路径作为程序的输出路径。

$ hadoop fs -put timestamps.txt /user/hadoop/timestamps.txt
$ hadoop jar TimestampSort.jar /user/hadoop/timestamps.txt /user/hadoop/output

其中，TimestampSort.jar是我们打包好的MapReduce程序的jar包，/user/hadoop/timestamps.txt是输入路径，/user/hadoop/output是输出路径。运行程序结束后，可以在输出路径中查看排序后的时间戳和对应的日期时间格式。