python爬虫如何将爬取的数据保存到数据库中
时间: 2023-11-01 14:08:03 浏览: 197
Python爬虫可以使用多种方式将爬取的数据保存到数据库中,其中比较常用的方式是使用Python自带的sqlite3模块或者第三方的ORM框架,如SQLAlchemy等。
下面是一个使用sqlite3模块将爬取的数据保存到SQLite数据库中的示例代码:
```python
import sqlite3
# 连接到SQLite数据库
conn = sqlite3.connect('example.db')
# 创建一个表格
conn.execute('''CREATE TABLE IF NOT EXISTS books
(id INTEGER PRIMARY KEY AUTOINCREMENT,
title TEXT,
author TEXT,
price FLOAT);''')
# 插入数据
conn.execute("INSERT INTO books (title, author, price) VALUES ('Python入门教程', '张三', 29.99)")
conn.execute("INSERT INTO books (title, author, price) VALUES ('Java编程思想', '李四', 59.99)")
# 提交事务
conn.commit()
# 查询数据
cursor = conn.execute("SELECT id, title, author, price from books")
for row in cursor:
print("ID = ", row[0])
print("Title = ", row[1])
print("Author = ", row[2])
print("Price = ", row[3])
# 关闭数据库连接
conn.close()
```
这个示例代码中,我们首先连接到了一个SQLite数据库,然后创建了一个名为“books”的表格,并向其中插入了两条数据。最后,我们使用SELECT语句查询了表格中的所有数据,并打印了出来。
需要注意的是,这只是一个简单的示例代码,实际应用中需要根据具体需求进行修改和优化,比如添加异常处理、使用参数化查询等。
阅读全文