Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.146.81:9000"); Job job = Job.getInstance(conf); job.setJarByClass(WeatherDriver.class); job.setMapperClass(WeatherMapper.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(WeatherBean.class); job.setReducerClass(WeatherReducer.class); job.setOutputKeyClass(NullWritable.class); job.setOutputValueClass(WeatherBean.class); //job.setNumReduceTasks(0); FileInputFormat.setInputPaths(job, new Path("/weather/input/china_data.txt")); Path out = new Path("/weather/out"); FileSystem fs = FileSystem.get(new URI("hdfs://192.168.146.81:9000"), conf, "root"); if(fs.exists(out)) { fs.delete(out, true); } FileOutputFormat.setOutputPath(job, out); boolean flag = job.waitForCompletion(true); System.out.println(flag ? 0 : 1);是干啥的

时间: 2024-04-06 16:31:36 浏览: 21
这是一个使用Hadoop MapReduce框架实现的天气数据处理程序,主要功能是读取位于HDFS上的输入文件,对其中的数据进行处理,并将结果输出到HDFS上的指定目录。具体来说,该程序包括了一个Mapper类和一个Reducer类,Mapper类将输入数据进行拆分和转换,生成一系列键值对,Reducer类对这些键值对进行聚合和统计,最终输出结果。在代码中,还包括了一些与Hadoop相关的配置信息,以及一些文件读写和删除的操作。
相关问题

Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); 指定分布式系统

要在代码中指定使用分布式文件系统,需要使用`FileSystem.get()`方法的重载形式,并指定文件系统的URI和配置对象。例如: ``` Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://namenode1:8020"), conf); ``` 这将返回一个指向分布式文件系统的文件系统对象,并使用指定的配置对象。在上面的例子中,文件系统的URI是`hdfs://namenode1:8020`,这意味着您的代码将连接到名为`namenode1`的NameNode节点,并使用默认的HDFS通信端口8020。 如果您的分布式文件系统启用了HA,您可以使用以下方式指定文件系统的URI: ``` Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://mycluster"); conf.set("dfs.nameservices", "mycluster"); conf.set("dfs.client.failover.proxy.provider.mycluster", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"); FileSystem fs = FileSystem.get(new URI("hdfs://mycluster"), conf); ``` 在上面的例子中,`fs.defaultFS`属性指定了文件系统的默认URI,`dfs.nameservices`属性指定了HA集群的名称,`dfs.client.failover.proxy.provider.mycluster`属性指定了故障转移代理提供程序的类名称,`FileSystem.get()`方法的参数为`hdfs://mycluster`,即HA集群的名称。

java.lang.IllegalArgumentException: Wrong FS: hdfs://node1/xiyou, expected: hdfs://hadoop01:8020

这个错误是因为你的代码中使用的文件系统不匹配。你的代码中使用了 `hdfs://node1/xiyou` 的文件系统,但是预期的文件系统应该是 `hdfs://hadoop01:8020`。这种情况通常是由于在代码中使用了错误的文件系统引起的。 要解决这个问题,你需要检查你的代码,确保你使用的文件系统与你期望的文件系统相匹配。你可以在代码中指定正确的文件系统,或者在运行代码之前设置环境变量来指定正确的文件系统。如果你使用的是 Hadoop,你可以通过设置 `HADOOP_CONF_DIR` 环境变量来指定 Hadoop 配置文件的位置,从而指定正确的文件系统。

相关推荐

最新推荐

recommend-type

解决Cent0S 6.7直接在/etc/resolv.conf文件下修改DNS地址重启不生效问题

主要介绍了解决Cent0S 6.7直接在/etc/resolv.conf文件下修改DNS地址重启不生效问题 ,需要的朋友可以参考下
recommend-type

Nginx配置文件(nginx.conf)配置详解(总结)

本篇文章主要介绍了Nginx配置文件(nginx.conf)配置详解,这对初学者有一定的参考价值,有兴趣的可以了解一下。
recommend-type

详谈redis优化配置和redis.conf说明(推荐)

下面小编就为大家带来一篇详谈redis优化配置和redis.conf说明(推荐)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
recommend-type

比较完整的Nginx配置文件nginx.conf常用参数中文详解

主要介绍了比较完整的Nginx配置文件nginx.conf常用参数中文详解,需要的朋友可以参考下
recommend-type

员工考勤系统.docx

员工考勤系统.docx
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

MATLAB图像处理算法宝典:从理论到实战

![MATLAB图像处理算法宝典:从理论到实战](https://img-blog.csdnimg.cn/20200717112736401.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1emhhbzk5MDE=,size_16,color_FFFFFF,t_70) # 1. MATLAB图像处理基础理论 MATLAB图像处理是一种利用MATLAB编程语言进行图像处理的强大工具。它提供了丰富的函数和工具箱,用于图像获取、增强、分
recommend-type

matlab中1/x的非线性规划

在MATLAB中,可以使用非线性规划函数(`fmincon`)来优化一个包含1/x的非线性目标函数。下面是一个简单的例子: ```matlab % 定义目标函数 fun = @(x) 1/x; % 定义约束函数(这里没有约束) nonlcon = []; % 定义初始点 x0 = 1; % 定义优化选项 options = optimoptions('fmincon', 'Display', 'iter'); % 进行非线性规划 [x, fval] = fmincon(fun, x0, [], [], [], [], [], [], nonlcon, options); ``` 在
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。