python爬虫将爬到的数据写入到数据库
时间: 2023-10-13 17:11:24 浏览: 82
好的,这是一个非常常见的需求。你可以使用 Python 中的第三方库来访问数据库,比如说 pymysql 或者 sqlalchemy。下面是一个使用 pymysql 的例子:
首先,需要安装 pymysql:
```
pip install pymysql
```
然后,连接数据库:
```python
import pymysql
# 连接 database
conn = pymysql.connect(
host="localhost",
user="root",
password="123456",
database="test",
charset="utf8"
)
```
其中,host 是数据库的地址,user 是用户名,password 是密码,database 是要连接的数据库名称,charset 是编码方式。
接着,创建游标:
```python
# 创建游标
cursor = conn.cursor()
```
然后,执行 SQL 语句:
```python
# 执行 SQL 语句
sql = "INSERT INTO users (name, age) VALUES (%s, %s)"
cursor.execute(sql, ("John", 30))
```
这里的 SQL 语句是向名为 users 的表中插入一条记录,记录的 name 和 age 分别为 John 和 30。使用 execute() 函数可以执行 SQL 语句。
最后,提交事务并关闭连接:
```python
# 提交事务
conn.commit()
# 关闭连接
conn.close()
```
完整代码:
```python
import pymysql
# 连接 database
conn = pymysql.connect(
host="localhost",
user="root",
password="123456",
database="test",
charset="utf8"
)
# 创建游标
cursor = conn.cursor()
# 执行 SQL 语句
sql = "INSERT INTO users (name, age) VALUES (%s, %s)"
cursor.execute(sql, ("John", 30))
# 提交事务
conn.commit()
# 关闭连接
conn.close()
```
这样,就可以把爬取到的数据存入数据库中了。当然,具体的 SQL 语句和数据格式需要根据你的实际情况进行修改。