Python爬虫的案例

Python爬虫是一种常见的网络数据抓取技术，通过编写Python程序自动化地从网站上获取信息。以下是一个简单的Python爬虫案例，以Scrapy库为例，我们通常会爬取网页上的新闻标题：

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    start_urls = ['http://www.example.com/news']  # 起始URL

    def parse(self, response):
        title_list = response.css('h2 a::text')  # CSS选择器选取标题
        for title in title_list:
            yield {'title': title.get()}  # 使用yield生成器产出数据

        next_page = response.css('li.next a::attr(href)').get()  # 查找下一页链接
        if next_page is not None:
            yield response.follow(next_page, self.parse)  # 如果有下一页，继续爬取