scrapy 返回链接的本身

Scrapy 可以通过 `response.url` 来返回链接本身，如下所示：

import scrapy

class MySpider(scrapy.Spider):
    name = 'example'
    start_urls = ['https://www.example.com']

    def parse(self, response):
        # 返回链接本身
        url = response.url
        yield {'url': url}

相关问题

scrapy连接mysql

可以使用以下代码连接Scrapy和MySQL：

1. 首先，需要在Scrapy项目的settings.py文件中添加以下代码：

ITEM_PIPELINES = {
   'myproject.pipelines.MySQLPipeline': 300,
}

MYSQL_HOST = 'localhost'
MYSQL_DBNAME = 'mydatabase'
MYSQL_USER = 'myusername'
MYSQL_PASSWORD = 'mypassword'

2. 然后，在Scrapy项目的pipelines.py文件中添加以下代码：

import pymysql

class MySQLPipeline(object):

   def __init__(self, host, dbname, user, password):
       self.host = host
       self.dbname = dbname
       self.user = user
       self.password = password

   @classmethod
   def from_crawler(cls, crawler):
       return cls(
           host=crawler.settings.get('MYSQL_HOST'),
           dbname=crawler.settings.get('MYSQL_DBNAME'),
           user=crawler.settings.get('MYSQL_USER'),
           password=crawler.settings.get('MYSQL_PASSWORD')
       )

   def open_spider(self, spider):
       self.conn = pymysql.connect(
           host=self.host,
           user=self.user,
           password=self.password,
           db=self.dbname,
           charset='utf8mb4',
           cursorclass=pymysql.cursors.DictCursor
       )

   def close_spider(self, spider):
       self.conn.close()

   def process_item(self, item, spider):
       with self.conn.cursor() as cursor:
           sql = "INSERT INTO mytable (column1, column2, column3) VALUES (%s, %s, %s)"
           cursor.execute(sql, (item['column1'], item['column2'], item['column3']))
           self.conn.commit()
       return item

3. 最后，在Scrapy项目的items.py文件中定义你的item：

import scrapy

class MyItem(scrapy.Item):
   column1 = scrapy.Field()
   column2 = scrapy.Field()
   column3 = scrapy.Field()

这样，当你运行Scrapy爬虫时，它会将数据存储到MySQL数据库中。

scrapy连接mysql 创建表 插入字段

下面是一个使用Scrapy连接MySQL数据库、创建表和插入字段的示例代码：

import scrapy
import pymysql

class MySpider(scrapy.Spider):
    name = 'myspider'

    def start_requests(self):
        # 连接MySQL数据库
        db = pymysql.connect(
            host='localhost',
            user='user',
            password='password',
            database='database'
        )

        # 创建表
        with db.cursor() as cursor:
            cursor.execute("""
                CREATE TABLE IF NOT EXISTS mytable (
                    id INT AUTO_INCREMENT PRIMARY KEY,
                    title VARCHAR(255),
                    content TEXT
                )
            """)
            db.commit()

        # 关闭数据库连接
        db.close()

        # 发送请求
        yield scrapy.Request(url='http://example.com', callback=self.parse)

    def parse(self, response):
        # 连接MySQL数据库
        db = pymysql.connect(
            host='localhost',
            user='user',
            password='password',
            database='database'
        )

        # 插入数据
        with db.cursor() as cursor:
            cursor.execute("""
                INSERT INTO mytable (title, content) VALUES (%s, %s)
            """, (response.css('title::text').get(), response.css('body::text').get()))
            db.commit()

        # 关闭数据库连接
        db.close()

在这个示例代码中，我们在`start_requests`方法中连接到MySQL数据库，并创建了一个名为`mytable`的表。然后，在`parse`方法中，我们再次连接到数据库，并插入了网页的标题和内容。

请注意，这只是一个示例代码，并且需要根据你的具体情况进行修改和定制。