给我一个爬淘宝男装的程序
时间: 2024-06-08 17:10:40 浏览: 57
试衣服软件,淘宝系列
4星 · 用户满意度95%
以下是一个简单的爬取淘宝男装的 Python 程序,使用了 requests 和 BeautifulSoup 库:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头部信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 设置要爬取的链接
url = 'https://s.taobao.com/search?q=男装&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20210717&ie=utf8'
# 发送请求
res = requests.get(url, headers=headers)
# 解析网页
soup = BeautifulSoup(res.text, 'html.parser')
# 获取商品列表
items = soup.select('div.items > div.item')
# 遍历商品列表
for item in items:
# 获取商品标题
title = item.select_one('div.title > a').text.strip()
# 获取商品价格
price = item.select_one('div.price > strong').text.strip()
# 获取商品销量
sales = item.select_one('div.sales > span').text.strip()
print(title, price, sales)
```
需要注意的是,淘宝网页有反爬机制,需要设置请求头部信息和使用代理等方式来避免被封禁。此处的请求头部信息已经设置了 User-Agent,可以直接使用,但如果爬取过于频繁或规模较大,建议使用代理来避免被封禁。
阅读全文