没有合适的资源？快使用搜索试试~ 我知道了~

首页java大数据案例_5Mapreduce、数据挖掘

java大数据案例_5Mapreduce、数据挖掘

java

Mapreduce

数据挖掘

需积分: 50 12 下载量 118 浏览量更新于2023-05-27 评论 1 收藏 63KB DOCX 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

试读

37页

1. 案例开发练习问题依次完成以下两小题的任务：（1）代码实现网站连续几日UV量统计（2）网站每日每个连接来源统计数据：access.log（nginx服务器中获取）

资源详情

资源评论

资源推荐

经典案例

1. 案例开发练习

问题

依次完成以下两小题的任务：

（1）代码实现网站连续几日 UV 量统计

（2）网站每日每个连接来源统计

数据：access.log（nginx 服务器中获取）

步骤

实现此案例需要按照如下步骤进行

步骤一：建立工程环境

新建 java 工程，将$HADOOP_HOME 下的 jar 包及 lib 下的 jar

包导入工程中。新建一个主类用于编写任务代码

步骤二：编写工具类

由于 nginx 的日期时间格式比较特殊，如果没有对 nginx 做

格式设置，默认的日期时间无法用常规的类进行解析，因

此需要做一个转化工具。

为了使用方便，我们将 nginx 的日期时间解析成两类数据，

一个只包含年月日，另一个不仅包含年月日，而且包含时

分秒，介于包含了时分秒后字符串格式相对不固定（具体

得看需求），所以包含时分秒的时间我们不做 format 处理，

仅仅提供 long 的时间戳数据，使用的时候随时可以转化。

具体代码如下：

package org.okou.lippen.network.tool.ui;

import java.sql.Date;

import java.text.ParseExcep'on;

import java.text.SimpleDateFormat;

import java.u'l.HashMap;

import org.apache.log4j.Logger;

public class AnalysisNginxTool {

public sta'c String nginxDateStmpToDate(String date) {

String res = "";

try {

SimpleDateFormat df = new

SimpleDateFormat("[dd/MM/yyyy:HH:mm:ss");

String datetmp = date.split(" ")[0].toUpperCase();

String mtmp = datetmp.split("/")[1];

datetmp = datetmp.replaceAll(mtmp,

(String)DateToNUM.map.get(mtmp));

Date d = df.parse(datetmp);

SimpleDateFormat sdf = new

SimpleDateFormat("yyyy-MM-dd");

res = sdf.format(d);

} catch (ParseExcep'on e) {

Logger.error("error:" + date, e);

}

return res;

}

public sta'c long nginxDateStmpToDateTime(String date) {

long l = 0;

try {

SimpleDateFormat df = new

SimpleDateFormat("[dd/MM/yyyy:HH:mm:ss");

String datetmp = date.split(" ")[0].toUpperCase();

String mtmp = datetmp.split("/")[1];

datetmp = datetmp.replaceAll(mtmp,

(String)DateToNUM.map.get(mtmp));

Date d = df.parse(datetmp);

l = d.getTime();

} catch (ParseExcep'on e) {

Logger.error("error:" + date, e);

}

return l;

}

DateToNUM 的作用是将 nginx 日志中的英文月份转化为数字，

具体代码如下：

public class DateToNUM {

public sta'c HashMap map = new HashMap();

public sta'c void initMap() {

map.put("JAN", "01");

map.put("FEB", "02");

map.put("MAR", "03");

map.put("APR", "04");

map.put("MAY", "05");

map.put("JUN", "06");

map.put("JUL", "07");

map.put("AUG", "08");

map.put("SEPT", "09");

map.put("OCT", "10");

map.put("NOV", "11");

map.put("DEC", "12");

}

步骤三：代码实现网站连续几日 uv 量统计

解题思路：

Map：从输入的行中取出访问日期（从访问时间里面处理出

来，注意为了做到排序输出此处必须得使用时间戳格式，

而不能用传统的 format 格式）和访问地址拼接作为 key，并

取出用户 ip 作为 value

这样 Map 的输出就是：日期_地址,集合<ip1,ip2,………..>

Reduce:将 key 下的 value 去重，最简单的办法就是取出来放

入一个 set 中统计个数量，然后输出。

具体代码如下：

package org.okou.lippen.network.tool.ui;

import java.io.IOException;

import java.util.HashSet;

剩余36页未读，继续阅读

xiaoli_shen

粉丝: 1
资源: 37

上传资源快速赚钱

我的内容管理收起

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

会员权益专享

java大数据案例_5Mapreduce、数据挖掘

评论0

会员权益专享

最新资源

java大数据案例_5Mapreduce、数据挖掘

评论0

SaaS模式下大数据量统计框架的研究和实现

java 文件大数据Excel下载实例代码

MapReduce开发案例

大数据mapreduce经典案例

java 大数据 数据仓库面试题

mapreduce数据清理java_MapReduce实验-数据清洗-阶段一

java大数据入门进阶

java大数据类项目推荐

java大数据学习路线

在大数据实验平台上完成mapreduce实验单词计数

java如何开发大数据

大数据案例（五）——MapReduce求出每一个订单中最贵的商品

什么是大数据的mapreduce

java的mapreduce数据清洗

林子雨大数据mapreduce安装

大数据mapreduce经典案例倒排索引

java和大数据的对接

mapreduce数据分析

大数据开发 用调用java

Java编写基于Hadoop的mapreduce的汽车销售数据统计

会员权益专享

最新资源

java 大数据数据仓库面试题

大数据开发用调用java