webmagic+Selenium所需要的jar包有哪些
时间: 2024-01-12 18:04:39 浏览: 181
您好,webmagic Selenium 所需要的jar包包括:
1. selenium-java-3.x.x.jar,其中 x 为具体的版本号;
2. selenium-api-3.x.x.jar;
3. client-combined-3.141.59.jar;
4. client-combined-3.141.59-sources.jar;
5. okhttp-3.x.x.jar;
6. okio-1.x.x.jar;
7. commons-exec-1.3.jar;
8. hamcrest-core-1.3.jar;
9. gson-2.x.x.jar;
10. guava-19.0.jar。
需要注意的是,上述 jar 包版本号可能因为时间较为久远而与当前略有不同,请根据实际情况选择对应版本的 jar 包。
相关问题
webmagic+selenium
WebMagic Selenium是一个爬虫框架,用于爬取动态页面。根据引用和引用,WebMagic Selenium的使用需要相关依赖,并且可以通过分析网页源码获取下一页的网址和每篇文章的网址。该框架的特点是根据事先设定好的爬取规则,可以一直爬取下去直到结束。具体操作步骤如下:
1. 先准备好WebMagic Selenium的相关依赖,可以参考引用中的链接。
2. 分析目标网页的源码,找到下一页的网址和每篇文章的网址。根据引用所说,这些网址可能是通过JS动态加载的,所以需要使用WebMagic Selenium框架来处理动态页面。
3. 设定好爬取规则,即指定如何抓取每页和每篇文章的URL。根据引用所说,可以通过爬取每页的URL来抽取出该页所有文章的URL和下一页的URL。这样就可以一直迭代下去,直到结束。
总之,WebMagic Selenium是一个专门用于爬取动态页面的爬虫框架,可以通过分析网页源码和设定爬取规则来实现对网页内容的爬取。
阅读全文