Scrapy怎么爬取百度，并输出源码

Scrapy是一个强大的网络爬虫框架，用于高效地抓取网站数据。要使用Scrapy从百度抓取并输出网页源码，你需要按照以下步骤操作：

1. **安装Scrapy**:
首先确保你已经安装了`scrapy`和`lxml`库（如果你还没有的话）。可以通过命令行运行以下命令来安装：

   pip install scrapy lxml

2. **创建一个新的Scrapy项目**:
打开终端或命令提示符，进入你想存放项目的目录，然后运行：

   scrapy startproject baidu_scraper

这将创建一个名为`baidu_scraper`的新项目。

3. **定义Spider**:
在`baidu_scraper/spiders`文件夹下创建一个名为`baiduspider.py`的文件，编辑并添加基本的Spider结构：

   import scrapy

   class BaiduSpider(scrapy.Spider):
       name = 'baidu'
       start_urls = ['https://www.baidu.com']

       def parse(self, response):
           with open('output.html', 'wb') as f:
               f.write(response.body)
           yield {
               'title': response.css('title::text').get(),
               'source_code': response.text,
           }

这里我们定义了一个简单的Spider，它会访问百度首页，并保存响应体到`output.html`文件中，同时返回标题和源码。

4. **运行Spider**:
从项目根目录运行：

   scrapy crawl baidu

这将会开始爬取，并输出结果到指定的文件中。

5. **查看源码**:
爬取完成后，打开`output.html`文件，就能看到百度主页的HTML源码。

记得尊重百度的robots.txt规则，并遵守网站的使用政策。