crawl4ai爬虫百度贴吧

### 使用 Crawl4AI 爬虫框架抓取百度贴吧数据

#### 安装依赖库
为了使用 Crawl4AI 抓取百度贴吧的数据，首先需要确保 Python 和其他必要的软件包已经安装。建议使用的 Python 版本为 3.7 或更高版本。

pip install crawl4ai

#### 初始化项目
创建一个新的工作目录并初始化 Crawl4AI 配置文件：

from crawl4ai import ProjectInitializer

project_initializer = ProjectInitializer()
project_initializer.create_project('baidu_tieba_scraper')

这将在当前路径下生成名为 `baidu_tieba_scraper` 的新文件夹，并设置好基本的爬虫模板[^1]。

#### 编写爬虫逻辑
编辑位于项目的 `spiders/baidu_tieba.py` 文件来定义具体的爬取行为。下面是一个简单的例子展示如何获取特定吧内的帖子列表及其详情页链接：

import re
from urllib.parse import urljoin

from crawl4ai.spider import Spider


class BaiduTiebaSpider(Spider):

    name = "Baidu Tieba"
    
    start_urls = [
        'https://tieba.baidu.com/f?kw=example&fr=index',  # 替换成目标贴吧URL
    ]

    def parse(self, response):
        """解析首页"""
        post_links = response.xpath('//div[@id="thread_list"]//a[contains(@href,"/p/")]/@href').getall()

        for link in post_links[:5]:  # 只处理前五个帖子作为示范
            yield self.request(url=urljoin(response.url, link), callback=self.parse_post)

    def parse_post(self, response):
        """解析单个帖子页面"""
        title = response.css('.core_title_txt::text').extract_first().strip()
        content = ''.join([line.strip() for line in response.css('#j_p_postlist .d_post_content::text').extract()])
        
        item = {
            'title': title,
            'content': content,
            'url': response.url,
        }
        yield item

这段代码实现了两个主要的功能：一是通过XPath定位到每一页上的多个帖子链接；二是进入每一个帖子的具体页面提取标题和正文内容[^2]。

#### 执行爬虫任务
最后，在命令行中执行如下指令启动爬虫程序:

cd baidu_tieba_scraper/
crawl4ai run_spider spiders.baidutieba.BaiduTiebaSpider -o output.jsonl

上述命令会将结果保存在一个 JSON Lines 格式的文件 (`output.jsonl`) 中，每一行代表一条记录[^3]。