python爬取网页中前三页的内容并保存到MySQL中的代码是什么?
时间: 2024-09-28 09:16:19 浏览: 42
在Python中,你可以使用requests库来获取网页内容,BeautifulSoup库来解析HTML,然后利用pymysql库将数据插入到MySQL数据库。这里是一个基本示例,假设你要爬取前3页的数据:
```python
import requests
from bs4 import BeautifulSoup
import pymysql
# 设置MySQL连接参数
db = pymysql.connect(host='your_host', user='your_username', password='your_password', database='your_database')
# 创建游标
cursor = db.cursor()
# 爬取页面函数
def fetch_pages(url, page_num):
response = requests.get(url + f'?page={page_num}')
soup = BeautifulSoup(response.text, 'html.parser')
# 提取你需要的数据,例如假设每个页面都是一个列表,元素在`div`标签内
data = [element.text for element in soup.find_all('div', class_='your_class')]
return data
# 主循环处理前三页
for i in range(1, 4):
data = fetch_pages('http://example.com', i)
# 插入数据到数据库
for item in data:
sql = "INSERT INTO your_table (column1, column2) VALUES (%s, %s)"
try:
cursor.execute(sql, (item, i))
db.commit()
except Exception as e:
print(f"Error: {e}")
db.rollback()
# 关闭连接
cursor.close()
db.close()
阅读全文