没有合适的资源？快使用搜索试试~ 我知道了~

首页windows下配置hadoop和mapreduce.pdf

windows下配置hadoop和mapreduce.pdf

hadoop

mapreduce

windows

cygwin

5星 · 超过95%的资源需积分: 9 35 下载量 188 浏览量更新于2023-06-28 评论收藏 182KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

试读

11页

hadoop,mapreduce及windows下配置cygwin等内容介绍，以及应用案例

资源详情

资源评论

资源推荐

windows 下配置 hadoop 和 mapreduce

其实，使用 Cygwin 模拟 Linux 环境来运行 Hadoop 是非常轻松的，只需要简单地配置一下

就可以运行基于单机的 Hadoop。

这里，比较关键的就是 Cygwin 的安装，在选择安装的时候一定要安装 openssh，否则不会

成功的，下面简单说一下 Cygwin 的安装及其配置：

Cygwin

的下载安装

首先点击 http://cygwin.com/setup.exe 下载 setup.exe，例如保存到桌面，点击就可以进行下载安装了。

在选择安装类型的时候，最好是选择第一个，直接从网络上下载并紧接着安装，如图所示：

然后选择安装路径、安装文件存放路径、连接方式(这里选择 Use IE5 Settings)、下载站点镜像，自动创建

下载文件列表，接下来一步比较重要了：选择安装类型，可以单击最顶层的 All 后面的循环样式图标切换安

装类型，是的最顶层 All 行的最后一个单词为 Install，如图所示：

其实，如果你选择了 Install 安装类型，就已经选择了 openssh 包。

为让你看到 openssh 包，你可以在 Net [图标] Install 下面看到与网络有关的包，如图所示：

向下滑动滚动条，可以看到 openssh，如图所示：

在 Cirrent 下如果显示版本号，说明该包已经被此次安装选择上了，否则的话会显示一个 Skip，意思是跳

过该包，并不会安装该包的。

最后就等着下载安装了，这个过程可能会花费一点时间的。

Cygwin

的配置

安装完成之后，例如我的 Cygwin 安装在 G:\Cygwin\目录下面，进行配置如下：

设置环境变量：

在系统变量中新建变量【变量名：CYGWIN，变量值：ntsec tty】；编辑添加变量【变量名：Path，变量

值：G:\Cygwin\bin;其它的保留】。

OK，基本配置好了，可以配置 Hadoop 了。

Hadoop 目前的有几个版本：hadoop-0.16.4、hadoop-0.18.0，到 Apache 下载一个并解压

缩即可。

将解压缩的 Hadoop 放到 G 盘下，例如我的是：G:\hadoop-0.16.4。

配置 Hadoop 只需要修改 G:\hadoop-0.16.4\conf 目录下的 hadoop-env.sh 文件即可，打开

它你可以看到：

# The java implementation to use. Required.

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

剩余10页未读，继续阅读

z2o2u2s2

2013-02-08

后半部分貌似都是引用= = |||

Hadoop之MapReduce的Java实现在windows下开发需要的winutils等文件

Hadoop之MapReduce的Java实现在windows下开发需要的winutils等文件，版本为Hadoop2.7.3

Hadoop.MapReduce.v2.Cookbook pdf

Hadoop.MapReduce.v2.Cookbook pdf书籍，基于hadoop2的

Hadoop MapReduce.pdf

Hadoop MapReduce教程.pdf

import java.io.IOException; import java.util.; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class Merge { / Begin / / End / }

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class Merge { ...

java: 不兼容的类型: org.apache.hadoop.mapreduce.Job无法转换为org.apache.hadoop.mapred.JobConf

在 Hadoop 1.x 版本中，使用的是 `org.apache.hadoop.mapred.JobConf` 类来创建和配置作业，而在 Hadoop 2.x 版本中，则改为了 `org.apache.hadoop.mapreduce.Job` 类。如果你使用的是 Hadoop 2.x 版本，但是代码...

Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

这个错误是因为在运行...通过添加以上配置，可以解决Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster的问题。<span class="em">1</span><span class="em">2</span>

错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.mrappmaster

综上所述，错误"找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.mrappmaster"的解决方法包括检查Hadoop的安装和配置、代码的编译和打包、应用程序的启动命令、依赖和集群的运行状态等方面。通过仔细检查...

帮我解释下面的代码：import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } }

No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster)

1. 查看您的日志配置文件，通常是log4j.properties或log4j.xml文件，确保其中包含了与 "org.apache.hadoop.mapreduce.v2.app.MRAppMaster" 匹配的追加器配置信息。 2. 根据log4j的文档和FAQ ，检查您的配置文件中...

WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead

这个警告信息是告诉你使用...旧的计数器组是 org.apache.hadoop.mapred.Task$Counter，新的计数器组是 org.apache.hadoop.mapreduce.TaskCounter。你可以在代码中将旧的计数器组替换为新的计数器组来避免这个警告信息。

could not find or load main class org.apache.hadoop.mapreduce.v2.app.mrappma

“could not find or load main class org.apache.hadoop.mapreduce.v2.app.mrappma”是指无法找到或加载org.apache.hadoop.mapreduce.v2.app.mrappma类的主要程序。这个错误通常与在运行具有MapReduce任务的Hadoop...

package wc; import java.io.IOException; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class WordCountMain { public static void main(String[] args) throws Exception{ // TODO Auto-generated method stub Configuration conf = new Configuration(); conf.set("fs.default.name","hdfs://localhost:9000"); String[] otherArgs = new String[]{"input","output"}; /* 直接设置输入参数 */ if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in><out>"); System.exit(2); } Job job = Job.getInstance(conf,"Merge and duplicate removal"); job.setJarByClass(WordCountMapper.class); job.setMapperClass(Map.class); job.setCombinerClass(WordCountReduce.class); job.setReducerClass(WordCountReduce.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } package wc; import java.io.IOException; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.io.Text; public class WordCountMapper{ public static class Map extends Mapper<Object, Text, Text, Text>{ private static Text text = new Text(); public void map(Object key, Text value, Context context) throws IOException,InterruptedException{ text = value; context.write(text, new Text("")); } } } job.setmapperclass出错

import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.io.Text; public class WordCountMapper extends Mapper, Text, Text, Text> { private static Text text = new Text(); public void ...

org.apache.hadoop.mapreduce.v2.app.MRAppMaster

org.apache.hadoop.mapreduce.v2.app.mrappmaster 是 Hadoop MapReduce 2.x 中的一个组件，它是 MapReduce 应用程序的主节点。它负责协调和管理 MapReduce 作业的执行，包括任务的调度、监控和容错处理等。它还与 ...

org.apache.hadoop.mapreduce.v2.app.mrappmaster

jtsphd1

粉丝: 3
资源: 27

上传资源快速赚钱

我的内容管理收起

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

会员权益专享

windows下配置hadoop和mapreduce.pdf

评论4

会员权益专享

最新资源

windows下配置hadoop和mapreduce.pdf

评论4

Hadoop之MapReduce的Java实现在windows下开发需要的winutils等文件

Hadoop.MapReduce.v2.Cookbook pdf

Hadoop MapReduce.pdf

Hadoop MapReduce教程.pdf

初学者指南：什么是Hadoop和MapReduce？

使用Hadoop实现MapReduce任务

Hadoop与MapReduce初步解析

Hadoop 2.x 和 Hadoop 3.x 的重大变革

Hadoop与MapReduce工作原理解析

java: 不兼容的类型: org.apache.hadoop.mapreduce.Job无法转换为org.apache.hadoop.mapred.JobConf

Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.mrappmaster

No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster)

WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead

could not find or load main class org.apache.hadoop.mapreduce.v2.app.mrappma

org.apache.hadoop.mapreduce.v2.app.MRAppMaster

org.apache.hadoop.mapreduce.v2.app.mrappmaster

会员权益专享

最新资源