没有合适的资源?快使用搜索试试~ 我知道了~
首页爬虫代码+MapReduce代码+可视化展示代码.docx
资源详情
资源评论
资源推荐
大数据原理实验报告
1、1000+数据截图:
2.虚拟机中 hadoop 正确运行的情况:
3.爬虫代码+MapReduce 代码+可视化展示代码
3.1 爬虫代码:
!"#
!
$
%
"
&
&
'(")
*+ ,-
!
./0*+./,-
11为了避免重复读取数据,需要用一个 集合来进行重复的验证
11所有处理过的连接,都保存到这个集合中。
./#0*+./,-
11需要加入一个深度的控制,防止无限制的爬取数据
23"&$(*4
11记录每个网页的对应深度
11就是 地址, 就是深度值ֵ
.56/0"*+.56/,-
11准备一个标志,通过这个标志来控制线程的睡眠和唤醒,类似一个闹钟
#''*+#',-
',78-)
11向所有连接的集合中放入一个种子连接
0,9:;11<=19-
0",9:;11<=195>-
11建立多个线程,这里只建立 ? 个
,*@.?AA-)
(*+(",-+(,-
,-
B
B
'C'",-)
)
11先判断该连接是否已经被处理了
,D#0,--)
11该连接已经被处理,所以记录到处理后的连接集合中。
#0,-
11还需要判断深度是否满足要求,如果深度过深,则不进行处理
*0",-
,.*23"&$(-)
11建立处理页面内容的核心对象 "
"*%,-,-
11提取里面的 和
*,-
剩余18页未读,继续阅读
lilda
- 粉丝: 0
- 资源: 6
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- ExcelVBA中的Range和Cells用法说明.pdf
- 基于单片机的电梯控制模型设计.doc
- 主成分分析和因子分析.pptx
- 共享笔记服务系统论文.doc
- 基于数据治理体系的数据中台实践分享.pptx
- 变压器的铭牌和额定值.pptx
- 计算机网络课程设计报告--用winsock设计Ping应用程序.doc
- 高电压技术课件:第03章 液体和固体介质的电气特性.pdf
- Oracle商务智能精华介绍.pptx
- 基于单片机的输液滴速控制系统设计文档.doc
- dw考试题 5套.pdf
- 学生档案管理系统详细设计说明书.doc
- 操作系统PPT课件.pptx
- 智慧路边停车管理系统方案.pptx
- 【企业内控系列】企业内部控制之人力资源管理控制(17页).doc
- 温度传感器分类与特点.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0