帮我用python爬取下面网页数据到mysql,要用到pymysql模块:https://szzdjc.cnemc.cn:8070/GJZ/Business/Publish/Main.html
时间: 2023-05-18 18:07:00 浏览: 188
好的,以下是Python爬取网页数据并存储到MySQL的代码示例:
```python
import requests
from bs4 import BeautifulSoup
import pymysql
# 连接MySQL数据库
conn = pymysql.connect(host='localhost', user='root', password='password', database='test', charset='utf8mb4')
cursor = conn.cursor()
# 爬取网页数据
url = 'https://szzdjc.cnemc.cn:8070/GJZ/Business/Publish/Main.html'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
data = soup.find_all('tr')
# 存储数据到MySQL数据库
for item in data:
td = item.find_all('td')
if len(td) > 0:
name = td[0].text.strip()
value = td[1].text.strip()
sql = "INSERT INTO table_name (name, value) VALUES (%s, %s)"
cursor.execute(sql, (name, value))
conn.commit()
# 关闭数据库连接
cursor.close()
conn.close()
```
请注意,这只是一个简单的示例,实际情况中可能需要更多的处理和优化。
阅读全文
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20241231044930.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![-](https://img-home.csdnimg.cn/images/20241231044930.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)