帮我写个scrapy爬虫的python代码，爬取baidu.com

当然可以，以下是示例代码：

import scrapy

class BaiduSpider(scrapy.Spider):
    name = 'baidu'
    allowed_domains = ['baidu.com']
    start_urls = ['http://www.baidu.com/s?wd=python']

    def parse(self, response):
        for result in response.css('.c-container'):
            title = result.css('.t a::text').get()
            link = result.css('.t a::attr(href)').get()
            yield {
                'title': title,
                'link': link,
            }

        next_page = response.css('#page a:last-of-type::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

这只是一个简单的例子，你需要根据你的实际需求进行修改。

相关问题

写一段python scrapy爬虫来爬取百度的图片

这是一个使用 Scrapy 框架爬取百度图片的示例代码:

import scrapy

class BaiduImageSpider(scrapy.Spider):
    name = 'baidu_image'
    start_urls = ['https://image.baidu.com/']

    def parse(self, response):
        # 解析百度图片页面的图片链接
        for image_url in response.css('img::attr(src)').extract():
            yield {'image_urls': [image_url]}

# 运行爬虫
scrapy crawl baidu_image

这段代码会爬取百度图片页面上的所有图片链接。其中，`BaiduImageSpider` 是自定义的爬虫类，继承自 `scrapy.Spider` 类。`name` 属性指定了爬虫的名称，`start_urls` 属性指定了爬虫开始爬取的 URL 列表。`parse` 方法是 Scrapy 框架调用的回调函数，用于解析响应内容并提取数据。

注意：爬取百度图片可能会遇到反爬虫措施，因此建议使用一些反反爬虫技术，比如设置 User-Agent、使用代理等。

scrapy 爬虫中间件爬取百度首页

好的，这里提供一个通过 Scrapy 中间件爬取百度首页的示例代码。

1. 创建 Scrapy 项目

scrapy startproject baidu
cd baidu

2. 创建爬虫文件

scrapy genspider baidu_spider www.baidu.com

3. 编写中间件

在 `middlewares.py` 文件中编写中间件代码，如下所示：

from scrapy import signals
from scrapy.http import HtmlResponse
from selenium import webdriver


class BaiduDownloaderMiddleware:
    def __init__(self):
        self.driver = webdriver.Chrome()

    def process_request(self, request, spider):
        self.driver.get(request.url)
        html = self.driver.page_source
        return HtmlResponse(url=request.url, body=html.encode('utf-8'), encoding='utf-8', request=request)

    def __del__(self):
        self.driver.quit()

这里使用了 Selenium 和 ChromeDriver 来模拟浏览器访问百度首页，并将返回的页面源码封装成 HtmlResponse 类型，传递给爬虫进行解析。

4. 在 settings.py 文件中启用中间件

DOWNLOADER_MIDDLEWARES = {
    'baidu.middlewares.BaiduDownloaderMiddleware': 543,
}

5. 编写爬虫代码

import scrapy


class BaiduSpider(scrapy.Spider):
    name = 'baidu_spider'
    start_urls = ['https://www.baidu.com']

    def parse(self, response):
        title = response.xpath('//title/text()').get()
        print(title)

6. 运行爬虫

scrapy crawl baidu_spider

运行爬虫后，可以看到输出了百度首页的标题。

需要注意的是，由于百度首页有反爬机制，如果使用普通的 requests 或者 scrapy 爬虫访问，可能会被拦截。这里使用了 Selenium 和 ChromeDriver 来模拟浏览器访问，可以规避这个问题。