爬虫数据存储到mysql案例代码
时间: 2023-12-02 17:04:56 浏览: 83
当然可以!以下是一个简单的示例代码,用于将爬取到的数据存储到 MySQL 数据库中:
```python
# 导入所需的库
import pymysql
# 连接到 MySQL 数据库
connection = pymysql.connect(
host='localhost',
user='your_username',
password='your_password',
db='your_database_name',
charset='utf8mb4',
cursorclass=pymysql.cursors.DictCursor
)
# 创建表(如果不存在)
create_table_query = '''
CREATE TABLE IF NOT EXISTS `spider_data` (
`id` INT AUTO_INCREMENT PRIMARY KEY,
`title` VARCHAR(255),
`content` TEXT
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;
'''
with connection.cursor() as cursor:
cursor.execute(create_table_query)
connection.commit()
# 将爬取到的数据插入到数据库中
def insert_data(title, content):
insert_query = 'INSERT INTO `spider_data` (`title`, `content`) VALUES (%s, %s)'
with connection.cursor() as cursor:
cursor.execute(insert_query, (title, content))
connection.commit()
# 爬虫代码部分(这里只是简单示例)
def spider():
# 爬取数据的过程...
title = "示例标题"
content = "示例内容"
# 将数据插入数据库
insert_data(title, content)
# 执行爬虫代码
spider()
# 关闭数据库连接
connection.close()
```
请注意,这只是一个简单的示例,实际情况可能会根据你的具体需求而有所变化。确保你已经安装了 `pymysql` 库,并根据你的实际情况修改连接数据库的参数、创建表的语句和爬虫代码部分。希望对你有所帮助!
阅读全文