怎么将爬虫爬取的数据放到数据库中
时间: 2023-10-29 10:05:44 浏览: 138
将爬虫爬取的数据放到数据库中,可以通过以下步骤实现:
1. 连接数据库:使用Python中的数据库连接库,如MySQLdb、pymysql等,连接到数据库。
2. 创建表格:在数据库中创建表格,用于存储爬取的数据。
3. 定义插入数据的函数:将爬取到的数据插入到表格中,可以使用SQL语句实现。
4. 调用插入数据的函数:在爬虫程序中,调用插入数据的函数,将爬取到的数据插入到数据库中。
下面是一个示例代码,用于将爬取到的数据存储到MySQL数据库中:
```python
import pymysql
# 连接数据库
conn = pymysql.connect(host='localhost', user='root', password='123456', db='test')
# 创建表格
cursor = conn.cursor()
sql = '''CREATE TABLE IF NOT EXISTS `example` (
`id` INT UNSIGNED AUTO_INCREMENT,
`title` VARCHAR(100) NOT NULL,
`content` TEXT NOT NULL,
PRIMARY KEY (`id`)
)'''
cursor.execute(sql)
# 定义插入数据的函数
def insert_data(title, content):
cursor.execute("INSERT INTO example (title, content) VALUES (%s, %s)", (title, content))
conn.commit()
# 调用插入数据的函数
title = '这是标题'
content = '这是内容'
insert_data(title, content)
# 关闭数据库连接
cursor.close()
conn.close()
```
当爬虫程序爬取到数据后,可以调用`insert_data`函数将数据插入到数据库中。注意,在实际应用中,需要根据实际情况修改数据库连接信息、表格结构和插入数据的函数。
阅读全文