python爬取苏宁易购口红30页数据
时间: 2024-10-17 10:08:45 浏览: 36
可以使用Python中的requests和BeautifulSoup库来爬取苏宁易购口红的数据。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.suning.com/emall/searchV1Product.do?keyword=%E5%8F%A3%E7%BA%A2&ci=0&pg=01&cp=0&il=0&st=0&iy=0&adNumber=0&n=1&sesab=ACAABAAB&id=IDENTIFYING&cc=401'
for i in range(1, 31):
page_url = url.replace('pg=01', 'pg={:02d}'.format(i))
response = requests.get(page_url)
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.find_all('div', {'class': 'res-info'})
for item in items:
# 解析商品信息并保存
pass
```
在上面的代码中,我们首先定义了要爬取的页面URL,然后使用循环遍历30页数据。在每一页数据中,我们使用requests库发送HTTP请求获取页面内容,然后使用BeautifulSoup库解析页面内容,提取出商品信息并进行保存。
需要注意的是,苏宁易购网站有反爬机制,如果频繁访问同一个页面可能会被封IP,因此需要设置合理的访问间隔或者使用代理IP等方式来规避反爬机制。
阅读全文