python爬取淘宝商品数据
时间: 2023-09-05 12:08:03 浏览: 212
要使用Python爬取淘宝商品数据,你可以使用以下步骤:
1. 安装必要的库:使用`pip`安装`requests`和`beautifulsoup4`库。
```
pip install requests beautifulsoup4
```
2. 发起请求:使用`requests`库向淘宝网发送请求,并获取响应数据。
```python
import requests
def get_taobao_data(keyword):
url = f'https://s.taobao.com/search?q={keyword}'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)
data = response.text
return data
```
3. 解析HTML:使用`beautifulsoup4`库解析HTML,并提取需要的数据。
```python
from bs4 import BeautifulSoup
def parse_taobao_data(data):
soup = BeautifulSoup(data, 'html.parser')
items = soup.find_all('div', class_='item J_MouserOnverReq ')
products = []
for item in items:
title = item.find('div', class_='title').text.strip()
price = item.find('strong').text.strip()
products.append({'title': title, 'price': price})
return products
```
4. 调用函数并打印结果:
```python
keyword = '手机' # 搜索关键词
data = get_taobao_data(keyword)
products = parse_taobao_data(data)
for product in products:
print(product['title'])
print(product['price'])
```
这样,你就可以使用Python爬取淘宝商品数据了。注意,爬取网站数据时请遵守相关网站的规定和法律法规。
阅读全文