将网页信息导入数据库要求给我代码实例
时间: 2024-02-01 07:04:02 浏览: 31
好的,以下是一个简单的 Python 代码实例,实现了将网页信息导入 MySQL 数据库的功能。在使用前,需要安装相应的库和配置数据库连接信息。
```python
import requests
from bs4 import BeautifulSoup
import pymysql
# 定义数据库连接信息
db_host = "localhost"
db_port = 3306
db_user = "root"
db_password = "password"
db_name = "test"
# 连接数据库
db = pymysql.connect(host=db_host, port=db_port, user=db_user, password=db_password, db=db_name, charset='utf8')
cursor = db.cursor()
# 发送 HTTP 请求获取网页内容
url = "https://www.example.com"
response = requests.get(url)
html = response.content
# 使用 Beautiful Soup 解析网页内容
soup = BeautifulSoup(html, 'html.parser')
data_list = []
# 提取需要导入的数据
for item in soup.find_all("div", class_="item"):
title = item.find("h2").text.strip()
link = item.find("a")["href"]
data_list.append((title, link))
# 将数据插入到数据库中
for data in data_list:
sql = "INSERT INTO article (title, link) VALUES (%s, %s)"
cursor.execute(sql, data)
# 提交事务并断开数据库连接
db.commit()
cursor.close()
db.close()
```
上述代码实现了从指定网页提取文章标题和链接,并将这些数据插入到 MySQL 数据库中。需要注意的是,此代码仅为示例,实际应用中需要根据具体情况进行调整。
相关推荐
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)