如何将爬取的数据存入数据库
时间: 2023-08-19 14:05:45 浏览: 77
爬取在线课程并存入MySQL数据库.rar
将爬取的数据存入数据库的一般步骤如下:
1. 确定要使用的数据库管理系统,如MySQL、SQLite、PostgreSQL等。
2. 创建数据库和数据表,指定字段名称和数据类型。
3. 在程序中连接数据库,使用相应的API或ORM工具。
4. 将爬取到的数据进行格式化和清洗,确保数据的正确性。
5. 将数据插入到数据库中,使用INSERT语句或ORM工具提供的插入方法。
以下是一个示例代码(使用Python和MySQL):
```
import mysql.connector
# 连接数据库
mydb = mysql.connector.connect(
host="localhost",
user="yourusername",
password="yourpassword",
database="mydatabase"
)
# 创建数据表
mycursor = mydb.cursor()
mycursor.execute("CREATE TABLE customers (name VARCHAR(255), address VARCHAR(255))")
# 插入数据
sql = "INSERT INTO customers (name, address) VALUES (%s, %s)"
val = ("John", "Highway 21")
mycursor.execute(sql, val)
# 提交更改
mydb.commit()
# 打印插入的行数
print(mycursor.rowcount, "record inserted.")
```
阅读全文