python爬虫淘宝网站数据代码
时间: 2024-10-09 08:06:15 浏览: 113
Python爬虫淘宝网站数据通常涉及使用像`requests`, `BeautifulSoup` 或 `Scrapy` 这样的库。这里是一个基本的示例,展示如何使用`BeautifulSoup`来抓取商品信息:
```python
import requests
from bs4 import BeautifulSoup
# 设置URL
url = 'https://www.taobao.com/'
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到商品列表
product_list = soup.find_all('div', class_='product-item') # 这里需要根据实际网页结构调整class名
for product in product_list:
title = product.find('h3', class_='title').text # 获取标题
price = product.find('span', class_='price').text # 获取价格
link = product.find('a')['href'] # 获取链接
print(f"标题: {title}, 价格: {price}, 链接: {link}")
else:
print("请求失败")
#
阅读全文