爬取拼多多的商品价格信息
时间: 2023-09-13 16:13:01 浏览: 191
.NET爬虫获取拼多多商品价格
你可以使用爬虫技术来爬取拼多多的商品价格信息。以下是一个使用Python的示例代码:
```python
import requests
from bs4 import BeautifulSoup
def get_pinduoduo_prices(keyword):
url = f'https://search.pinduoduo.com/search?q={keyword}'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
products = soup.find_all('div', class_='goods-info-inner')
prices = []
for product in products:
price = product.find('span', class_='price').text
prices.append(price)
return prices
# 示例用法
keyword = '手机' # 要搜索的商品关键词
prices = get_pinduoduo_prices(keyword)
print(prices)
```
这段代码使用了`requests`库发送HTTP请求,使用`BeautifulSoup`库解析HTML页面。你可以根据自己的需求修改代码,例如修改关键词、解析更多商品信息等。记得遵守网站的爬虫规则,不要对网站造成过大负载。
阅读全文