import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MyJob { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "House_ownership Default Count"); job.setJarByClass(MyJob.class); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("D:\\网页下载\\课程设计\\train.csv")); FileOutputFormat.setOutputPath(job, new Path("D:\\网页下载\\课程设计\\out")); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
时间: 2024-04-03 16:33:20 浏览: 59
Java-org.apache.hadoop
3星 · 编辑精心推荐
这是一个使用Hadoop MapReduce框架进行数据处理的Java程序,其中的MyMapper和MyReducer分别是自定义的Mapper和Reducer类,用于完成具体的数据处理逻辑。该程序的作用是统计房屋拥有情况的默认情况,并将结果输出到指定路径。具体来说,它从输入文件train.csv中读取数据,经过Mapper处理之后,将结果传递给Reducer进行汇总,最终输出到指定的输出路径out中。这个程序的运行需要在Hadoop集群上进行。
阅读全文