尚硅谷Hadoop（MapReduce）V2.0：MapReduce编程框架及优缺点 - Java大数据前端python人工智能资料下载。

需积分: 0 109 浏览量更新于2023-11-24 收藏 65.9MB DOCX 举报

Hadoop（MapReduce）是尚硅谷大数据技术中的一个分布式运算程序的编程框架。它能够将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式运算程序，并运行在一个Hadoop集群上。MapReduce的优点包括易于编程、良好的扩展性和高容错性。它的编程接口简单，用户可以用相同的方式编写分布式程序和串行程序，非常流行。同时，当计算资源不足时，可以通过增加机器来扩展计算能力。另外，MapReduce具有很高的容错性，如果集群中某台机器出现故障，可以将该机器上的计算任务转移到其他机器上完成，不会导致任务失败，并且这个过程完全由Hadoop内部自动完成。

尚硅谷大数据技术之 Hadoop（MapReduce）

—————————————————————————————

更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网

public void setDownFlow(long downFlow) {

this.downFlow = downFlow;

}

public long getSumFlow() {

return sumFlow;

}

public void setSumFlow(long sumFlow) {

this.sumFlow = sumFlow;

}

（2）编写 Mapper 类

package com.atguigu.mapreduce.flowsum;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

public class FlowCountMapper extends Mapper<LongWritable,

Text, Text, FlowBean>{

FlowBean v = new FlowBean();

Text k = new Text();

@Override

protected void map(LongWritable key, Text value, Context

context) throws IOException, InterruptedException {

// 1 获取一行

String line = value.toString();

// 2 切割字段

String[] fields = line.split("\t");

// 3 封装对象

// 取出手机号码

String phoneNum = fields[1];

// 取出上行流量和下行流量

long upFlow = Long.parseLong(fields[fields.length -

3]);

long downFlow = Long.parseLong(fields[fields.length -

2]);

k.set(phoneNum);

v.set(downFlow, upFlow);

// 4 写出

context.write(k, v);

}

（3）编写 Reducer 类

package com.atguigu.mapreduce.flowsum;

import java.io.IOException;

剩余130页未读，继续阅读

wxb0cf756a5ebe75e9

粉丝: 27
资源: 283

尚硅谷Hadoop（MapReduce）V2.0：MapReduce编程框架及优缺点 - Java大数据前端python人工智能...

最新资源

尚硅谷Hadoop（MapReduce）V2.0：MapReduce编程框架及优缺点 - Java大数据前端python人工智能...

07_尚硅谷大数据技术之Hadoop（源码解析）V3.3.pdf

尚硅谷大数据之Hadoop入门

尚硅谷大数据技术之 Hadoop1

尚硅谷大数据技术之Hadoop

尚硅谷大数据技术之Hadoop.xmind

尚硅谷大数据技术之Hadoop（入门）1

02_尚硅谷大数据技术之Hadoop（入门）V3.3.pdf

2_尚硅谷大数据之从Hadoop框架讨论大数据生态1

尚硅谷大数据：Hadoop MapReduce详解

尚硅谷大数据技术之Hadoop（入门）V3.3简介及发展历史

最新资源