用python的beautifulsoup框架,爬取网页数据,并保存到MySQL数据库中,写出代码
时间: 2023-04-05 12:03:45 浏览: 137
以下是使用Python的BeautifulSoup框架爬取网页数据并保存到MySQL数据库的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import mysql.connector
# 连接MySQL数据库
mydb = mysql.connector.connect(
host="localhost",
user="yourusername",
password="yourpassword",
database="yourdatabase"
)
# 创建游标对象
mycursor = mydb.cursor()
# 爬取网页数据
url = "https://www.example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
# 解析网页数据并保存到MySQL数据库中
for item in soup.find_all("div", class_="item"):
title = item.find("h2").text.strip()
description = item.find("p").text.strip()
sql = "INSERT INTO items (title, description) VALUES (%s, %s)"
val = (title, description)
mycursor.execute(sql, val)
# 提交更改并关闭数据库连接
mydb.commit()
mycursor.close()
mydb.close()
```
请注意,这只是一个示例代码,实际使用时需要根据具体情况进行修改。同时,爬取网页数据时需要遵守相关法律法规,不得进行非法爬取。
阅读全文