用scrapy爬取新闻

Scrapy是一个用于爬取网站数据和提取结构性数据的应用框架，编写在Python 3.5+版本中，可以用于各种数据挖掘、信息监控和自动化测试等领域。使用Scrapy爬取新闻的一般步骤如下：

1. 创建Scrapy项目：
使用`scrapy startproject 新闻爬虫项目`命令来创建一个新的Scrapy项目。

2. 设计Item：
在项目中定义需要爬取的新闻数据结构，例如新闻标题、链接、发布日期等。

3. 编写Spider：
根据目标新闻网站的结构，编写一个Spider类，用于爬取新闻列表页以及详情页。需要定义起始URL、解析响应数据的方法，并提取Item。

4. 设置Pipeline：
如果需要对爬取的数据进行进一步的处理，比如去重、存储到文件或数据库等，可以设置Pipeline。

5. 配置Settings：
根据需要调整Scrapy项目的一些设置，比如并发请求的数量、下载延迟、User-Agent等。

6. 运行爬虫：
使用`scrapy crawl 新闻爬虫`命令运行爬虫，开始爬取新闻。

下面是一个简单的Scrapy新闻爬虫的示例代码：

import scrapy

class NewsItem(scrapy.Item):
    title = scrapy.Field()  # 新闻标题
    link = scrapy.Field()   # 新闻链接
    publish_date = scrapy.Field()  # 发布日期

class NewsSpider(scrapy.Spider):
    name = 'news_spider'  # 爬虫的名称
    allowed_domains = ['example.com']  # 允许爬取的域名
    start_urls = ['http://www.example.com/news']  # 起始URL

    def parse(self, response):
        # 解析新闻列表页，提取新闻详情页链接
        for href in response.css('div.news_list a::attr(href)').extract():
            yield response.follow(href, self.parse_detail)

    def parse_detail(self, response):
        # 解析新闻详情页，提取所需字段
        item = NewsItem()
        item['title'] = response.css('h1.news_title::text').get()
        item['link'] = response.url
        item['publish_date'] = response.css('span.news_date::text').get()
        yield item