爬取淘宝“https://www.taobao.com/list/item/608326880625.htm?spm=a21wu.10013406.taglist-content.1.31686316M2sZsQ”页面的商品详情和用户评价的源代码
时间: 2023-12-01 16:03:35 浏览: 211
Python库 | spm12-0.0.2.tar.gz
以下是使用 Python 语言和 Requests、BeautifulSoup 库爬取淘宝商品详情和用户评价的源代码:
```python
import requests
from bs4 import BeautifulSoup
# 商品详情页面的 URL
url = 'https://www.taobao.com/list/item/608326880625.htm?spm=a21wu.10013406.taglist-content.1.31686316M2sZsQ'
# 获取商品详情页面的 HTML 内容
response = requests.get(url)
html_content = response.content
# 使用 BeautifulSoup 解析 HTML 内容
soup = BeautifulSoup(html_content, 'html.parser')
# 获取商品名称、价格和销量
item_name = soup.find('div', class_='tb-detail-hd').h1.text.strip()
item_price = soup.find('div', class_='tb-detail-price').em.text.strip()
item_sales = soup.find('div', class_='tb-sell-counter').text.strip()
print('商品名称:', item_name)
print('商品价格:', item_price)
print('商品销量:', item_sales)
# 获取用户评价
comment_url = 'https://rate.taobao.com/feedRateList.htm?auctionNumId=608326880625¤tPageNum=1'
response = requests.get(comment_url)
json_content = response.json()
for comment in json_content['comments']:
print(comment['date'], comment['content'])
```
以上代码先通过 Requests 库访问商品详情页面的 URL,获取 HTML 内容。然后使用 BeautifulSoup 库解析 HTML 内容,获取商品名称、价格和销量。接着访问用户评价的 URL,获取 JSON 格式的评价数据,并打印出每条评价的日期和内容。
阅读全文