webmagic深度配置

WebMagic是一个基于Java的网络爬虫框架，可配置性非常高，可以根据不同的需求进行深度配置。下面是一些WebMagic深度配置的示例：

1. 设置User-Agent

User-Agent是HTTP协议中的一个标头，用于标识用户代理（浏览器、爬虫等）。在爬虫中，设置User-Agent可以防止被网站封禁或限制访问。可以通过以下方式设置User-Agent：

Spider.create(new MyPageProcessor())
        .addUrl("http://www.example.com")
        .setUserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36")
        .run();

2. 设置代理

如果要爬取的网站对IP有限制或封禁，可以通过代理服务器访问网站。WebMagic支持设置代理服务器，可以通过以下方式设置代理：

Spider.create(new MyPageProcessor())
        .addUrl("http://www.example.com")
        .setHttpProxy(new HttpHost("127.0.0.1", 8888))
        .run();

3. 设置超时时间

在爬虫中，由于网络环境复杂，可能会出现访问超时的情况。可以通过设置超时时间来更好地控制爬虫的行为，例如：

Spider.create(new MyPageProcessor())
        .addUrl("http://www.example.com")
        .setTimeOut(5000)
        .run();

4. 设置Cookie

有些网站需要登录才能访问，需要设置Cookie才能进行爬取。可以通过以下方式设置Cookie：

Spider.create(new MyPageProcessor())
        .addUrl("http://www.example.com")
        .addCookie("name", "value")
        .run();

5. 设置重试次数

在爬虫中，由于网络环境不稳定，可能会出现访问失败的情况。可以通过设置重试次数来更好地控制爬虫的行为，例如：

Spider.create(new MyPageProcessor())
        .addUrl("http://www.example.com")
        .setRetryTimes(3)
        .run();

6. 设置线程数

由于爬虫需要同时访问多个网页，可以通过设置线程数来提高爬虫效率，例如：

Spider.create(new MyPageProcessor())
        .addUrl("http://www.example.com")
        .thread(5)
        .run();

7. 设置爬取深度

在爬虫中，可以设置爬取深度来控制爬虫的行为。例如，如果只需要爬取某个网站的首页和第一级链接，可以设置爬取深度为1，例如：

Spider.create(new MyPageProcessor())
        .addUrl("http://www.example.com")
        .setDepth(1)
        .run();