scrapy连接mysql 创建表 插入字段
时间: 2023-09-18 16:12:33 浏览: 207
下面是一个使用Scrapy连接MySQL数据库、创建表和插入字段的示例代码:
```python
import scrapy
import pymysql
class MySpider(scrapy.Spider):
name = 'myspider'
def start_requests(self):
# 连接MySQL数据库
db = pymysql.connect(
host='localhost',
user='user',
password='password',
database='database'
)
# 创建表
with db.cursor() as cursor:
cursor.execute("""
CREATE TABLE IF NOT EXISTS mytable (
id INT AUTO_INCREMENT PRIMARY KEY,
title VARCHAR(255),
content TEXT
)
""")
db.commit()
# 关闭数据库连接
db.close()
# 发送请求
yield scrapy.Request(url='http://example.com', callback=self.parse)
def parse(self, response):
# 连接MySQL数据库
db = pymysql.connect(
host='localhost',
user='user',
password='password',
database='database'
)
# 插入数据
with db.cursor() as cursor:
cursor.execute("""
INSERT INTO mytable (title, content) VALUES (%s, %s)
""", (response.css('title::text').get(), response.css('body::text').get()))
db.commit()
# 关闭数据库连接
db.close()
```
在这个示例代码中,我们在`start_requests`方法中连接到MySQL数据库,并创建了一个名为`mytable`的表。然后,在`parse`方法中,我们再次连接到数据库,并插入了网页的标题和内容。
请注意,这只是一个示例代码,并且需要根据你的具体情况进行修改和定制。
阅读全文