hadoop中实现中实现java网络爬虫网络爬虫(示例讲解示例讲解)
下面小编就为大家带来一篇hadoop中实现java网络爬虫(示例讲解)。小编觉得挺不错的，现在就分享给大家，也
给大家做个参考。一起跟随小编过来看看吧
这一篇网络爬虫的实现就要联系上大数据了。在前两篇java实现网络爬虫和heritrix实现网络爬虫的基础上，这一次是要完整的
做一次数据的收集、数据上传、数据分析、数据结果读取、数据可视化。
需要用到需要用到
Cygwin：一个在windows平台上运行的类UNIX模拟环境，直接网上搜索下载，并且安装；
Hadoop：配置Hadoop环境，实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS，用来将收集的数
据直接上传保存到HDFS，然后用MapReduce分析；
Eclipse：编写代码，需要导入hadoop的jar包，以可以创建MapReduce项目；
Jsoup：html的解析jar包，结合正则表达式能更好的解析网页源码；
----->
目录：目录：
1、配置、配置Cygwin
2、配置、配置Hadoop黄静黄静
3、、Eclipse开发环境搭建开发环境搭建
4、网络数据爬取（、网络数据爬取（jsoup））
-------->
1、安装配置、安装配置Cygwin
从官方网站下载Cygwin 安装文件，地址：https://cygwin.com/install.html
下载运行后进入安装界面。
安装时直接从网络镜像中下载扩展包，至少需要选择ssh和ssl支持包
安装后进入cygwin控制台界面，
运行ssh-host-config命令，安装SSH
输入：no，yes，ntsec，no，no
注意：win7下需要改为yes，yes，ntsec，no，yes，输入密码并确认这个步骤
完成后会在windows操作系统中配置好一个Cygwin sshd服务，启动该服务即可。
然后要配置ssh免密码登陆
重新运行cygwin。
执行ssh localhost，会要求使用密码进行登陆。
使用ssh-keygen命令来生成一个ssh密钥，一直回车结束即可。
生成后进入.ssh目录，使用命令：cp id_rsa.pub authorized_keys 命令来配置密钥。
之后使用exit退出即可。
重新进入系统后，通过ssh localhost就可以直接进入系统，不需要再输入密码了。
2、配置、配置Hadoop环境环境
修改hadoop-env.sh文件，加入JDK安装目录的JAVA_HOME位置设置。
# The java implementation to use. Required.
weixin_38627104
- 粉丝: 1
- 资源: 984
我的内容管理
收起
- 我的资源
快来上传第一个资源
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助
会员权益专享
最新资源
- 藏经阁-应用多活技术白皮书-40.pdf
- 藏经阁-阿里云计算巢加速器：让优秀的软件生于云、长于云-90.pdf
- 藏经阁-玩转AIGC与应用部署-92.pdf
- 藏经阁-程序员面试宝典-193.pdf
- 藏经阁-Hologres 一站式实时数仓客户案例集-223.pdf
- 藏经阁-一站式结构化数据存储Tablestore实战手册-206.pdf
- 藏经阁-阿里云产品九月刊-223.pdf
- 藏经阁-2023云原生实战案例集-179.pdf
- 藏经阁-Nacos架构&原理-326.pdf
- ZTE电联中频一张网配置指导书
- 企业级数据治理之数据安全追溯
- MISRA-C 2012-中文翻译版.pdf
- 藏经阁-《多媒体行业质量成本优化及容灾方案白皮书》-37.pdf
- 藏经阁-浅谈阿里云通用产品线Serverless的小小演化史-23.pdf
- 藏经阁-冬季实战营第一期：从零到一上手玩转云服务器-44.pdf
- 藏经阁-云上自动化运维宝典-248.pdf
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
