scrapy爬虫代码禁用网站debug

要禁用网站的debug，可以在Scrapy项目的settings.py文件中设置LOG_LEVEL为ERROR或者CRITICAL，如下所示：

LOG_LEVEL = 'ERROR'

这将只记录错误和严重级别的日志，而不会记录调试级别的日志。这样可以减少日志输出，从而提高爬虫的效率。

相关问题

scrapy爬虫代码实例

好的，这里给你一个简单的Scrapy爬虫代码实例，可以爬取豆瓣图书的信息：

import scrapy

class DoubanSpider(scrapy.Spider):
    name = 'douban'
    allowed_domains = ['book.douban.com']
    start_urls = ['https://book.douban.com/tag/']

    def parse(self, response):
        tags = response.css('.tagCol td a::attr(href)').getall()
        for tag in tags:
            yield response.follow(tag, callback=self.parse_books)

    def parse_books(self, response):
        books = response.css('.subject-item')
        for book in books:
            yield {
                'title': book.css('h2 a::text').get(),
                'author': book.css('.pub::text').get(),
                'rating': book.css('.rating_nums::text').get(),
                'cover': book.css('.nbg img::attr(src)').get()
            }

        next_page = response.css('.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, callback=self.parse_books)

这个爬虫会首先访问豆瓣图书标签页，获取所有标签的链接，然后依次访问每个标签的页面，提取页面上的图书信息。最后，如果有下一页的话，会继续访问下一页。

注意，这个代码仅供参考，如果你要使用它爬取数据，请先确认是否符合网站的爬取规则，避免触发反爬虫机制。

scrapy爬虫项目实战网站

有很多网站可以用于 scrapy 爬虫项目实战，以下是一些常用的网站：

1. 爬取新闻网站：可以爬取像新浪新闻、腾讯新闻、网易新闻等大型新闻网站，获取最新的新闻信息。

2. 爬取电商网站：可以爬取像淘宝、京东、天猫等大型电商网站，获取商品信息、价格、评论等数据。

3. 爬取社交媒体网站：可以爬取像微博、知乎、豆瓣等社交媒体网站，获取用户信息、帖子信息、评论等数据。

4. 爬取论坛网站：可以爬取像百度贴吧、天涯论坛、猫扑论坛等大型论坛网站，获取帖子信息、评论等数据。

5. 爬取视频网站：可以爬取像优酷、爱奇艺、腾讯视频等大型视频网站，获取视频信息、评论等数据。

以上是一些常用的 scrapy 爬虫项目实战网站，当然还有很多其他类型的网站可以用于实战，具体可以根据自己的需求进行选择。