webmagic爬取微信公众号

WebMagic 是一款非常好用的 Java 爬虫框架，可以用来爬取各种网站。对于爬取微信公众号，可以使用 WebMagic 结合公众号的历史文章链接来进行爬取。下面是一个简单的爬取微信公众号文章的示例代码：

import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.selector.Html;
import us.codecraft.webmagic.selector.Selectable;

import java.util.List;

public class WeChatPublicAccountPageProcessor implements PageProcessor {

    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);

    public Site getSite() {
        return site;
    }

    public void process(Page page) {
        Html html = page.getHtml();
        String title = html.xpath("//title/text()").get();
        List<Selectable> articleNodes = html.xpath("//div[@class='weui_media_bd']/h4/a")
                .nodes();
        for (Selectable node : articleNodes) {
            String articleTitle = node.xpath("/a/text()").get();
            String articleUrl = node.xpath("/a/@href").get();
            // 把文章链接放到待爬取队列中
            page.addTargetRequest(articleUrl);
        }
        // 如果是文章页面，则解析文章内容
        if (page.getUrl().regex("https://mp.weixin.qq.com/s").match()) {
            String content = html.xpath("//div[@class='rich_media_content']")
                    .get();
            // 把文章内容存储到数据库中或者进行其他处理
            // ...
        }
    }

    public static void main(String[] args) {
        Spider.create(new WeChatPublicAccountPageProcessor())
                .addUrl("https://mp.weixin.qq.com/profile?{account_id}")
                .run();
    }
}

代码中，我们使用了 WebMagic 的 `PageProcessor` 接口来处理页面，通过 `addUrl()` 方法来添加待爬取的微信公众号链接，然后在 `process()` 方法中解析历史文章链接并添加到待爬取队列中，如果是文章页面，则解析文章内容并进行其他处理。需要注意的是，需要替换花括号中的 `{account_id}` 为对应的公众号ID。