Scrapy爬虫入门教程十三 Settings（设置） settings from_crawler

好的，关于Scrapy中的Settings设置，我可以为您提供一些基本信息。Settings在Scrapy中用于存储和管理爬虫的各种配置选项，包括爬虫的名称、请求头、User-Agent、下载延迟、并发请求数等。

从_crawler参数获取Settings的方法如下：

from scrapy import signals
from scrapy.utils.project import get_project_settings

class MySpider(scrapy.Spider):
    name = 'myspider'

    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = super(MySpider, cls).from_crawler(crawler, *args, **kwargs)
        settings = get_project_settings()
        spider.settings = settings
        return spider

在这个例子中，我们通过传递crawler对象，从中获取项目的Settings，并将其存储在我们的爬虫对象中。这样我们就可以在爬虫中使用这些设置了。

希望这能够帮助到您。如果您有其他问题，请随时问我。

相关问题

from_crawler

`from_crawler`是Scrapy中的一个类方法，用于创建一个新的Spider实例。它是Scrapy中的一个特殊方法，因为它可以访问Scrapy的核心组件和配置，例如Crawler对象、Settings对象和Signal manager。

`from_crawler`有一个默认的实现，它将Crawler对象、Settings对象和其他参数传递给Spider的构造函数。您可以重写这个方法来自定义Spider的初始化过程，例如添加信号处理程序或在Spider创建时执行其他任务。

以下是一个常见的使用`from_crawler`方法的示例，它在Spider创建时添加了一个信号处理程序，以便在Spider完成时关闭数据库连接：

from scrapy import signals

class MySpider(scrapy.Spider):
    name = 'myspider'

    def __init__(self, *args, **kwargs):
        super(MySpider, self).__init__(*args, **kwargs)
        self.connection = None

    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = super(MySpider, cls).from_crawler(crawler, *args, **kwargs)
        crawler.signals.connect(spider.spider_closed, signal=signals.spider_closed)
        return spider

    def spider_closed(self, spider):
        if self.connection is not None:
            self.connection.close()

    def parse(self, response):
        # 爬虫代码

在这个例子中，我们定义了一个名为`spider_closed`的方法，它在Spider完成时被调用。我们通过重写`from_crawler`方法来绑定这个方法，以便在创建Spider实例时添加信号处理程序。`spider_closed`方法检查数据库连接是否存在，并在存在时关闭连接。

请注意，`from_crawler`是一个类方法，它需要返回一个新的Spider实例。因此，在实现`from_crawler`方法时，您需要使用`super()`方法调用父类的`from_crawler`方法，然后返回新的Spider实例。

scrapy爬虫并存入mysql

你可以使用Scrapy框架来编写爬虫，并将数据存储到MySQL数据库中。下面是一个示例代码，展示了如何实现这个过程：

首先，确保你已经安装了Scrapy和MySQL连接库（如pymysql）。

然后，在Scrapy项目的settings.py文件中，配置MySQL数据库连接信息：

MYSQL_HOST = 'localhost'  # 数据库主机地址
MYSQL_PORT = 3306  # 数据库端口号
MYSQL_DATABASE = 'mydatabase'  # 数据库名称
MYSQL_USER = 'myuser'  # 数据库用户名
MYSQL_PASSWORD = 'mypassword'  # 数据库密码

接下来，在Scrapy项目中创建一个名为`pipelines.py`的文件，并在其中编写数据存储的管道：

import pymysql

class MySQLPipeline(object):
    def __init__(self, host, port, database, user, password):
        self.host = host
        self.port = port
        self.database = database
        self.user = user
        self.password = password

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            host=crawler.settings.get('MYSQL_HOST'),
            port=crawler.settings.get('MYSQL_PORT'),
            database=crawler.settings.get('MYSQL_DATABASE'),
            user=crawler.settings.get('MYSQL_USER'),
            password=crawler.settings.get('MYSQL_PASSWORD')
        )

    def open_spider(self, spider):
        self.conn = pymysql.connect(
            host=self.host,
            port=self.port,
            db=self.database,
            user=self.user,
            password=self.password,
            charset='utf8'
        )
        self.cursor = self.conn.cursor()

    def close_spider(self, spider):
        self.conn.close()

    def process_item(self, item, spider):
        # 将item数据存储到MySQL数据库中
        sql = "INSERT INTO mytable (column1, column2, ...) VALUES (%s, %s, ...)"
        values = (item['value1'], item['value2'], ...)
        self.cursor.execute(sql, values)
        self.conn.commit()
        return item

在上述代码中，你需要根据你的数据库表结构和字段定义，修改`INSERT INTO`语句以及替换`column1, column2, ...`和`value1, value2, ...`为实际的字段名和值。

最后，在Scrapy项目的`settings.py`文件中启用该管道：

ITEM_PIPELINES = {
    'myproject.pipelines.MySQLPipeline': 300,
}

以上是一个简单的示例，你可以根据自己的需求进行扩展和修改。希望对你有所帮助！