爬虫抓取淘宝商品信息
时间: 2023-10-04 10:06:18 浏览: 166
你可以使用Python编写爬虫来抓取淘宝商品信息。以下是一个简单的示例代码,使用了requests和BeautifulSoup库:
```python
import requests
from bs4 import BeautifulSoup
def get_taobao_product_info(keyword):
url = f'https://s.taobao.com/search?q={keyword}'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
products = []
items = soup.select('.item.J_MouserOnverReq')
for item in items:
product = {
'title': item.select('.row.row-2.title > a')[0].text.strip(),
'price': item.select('.price.g_price.g_price-highlight > strong')[0].text.strip(),
'shop': item.select('.shopname > span')[0].text.strip(),
'link': item.select('.row.row-2.title > a')[0]['href'],
}
products.append(product)
return products
# 示例使用
keyword = input("请输入要搜索的关键词:")
product_info = get_taobao_product_info(keyword)
for product in product_info:
print(product)
```
你只需要运行以上代码,并输入你要搜索的关键词,它会返回相关商品的标题、价格、店铺和链接。请注意,爬取网站数据时需要尊重网站的规则和限制,不要过于频繁地发送请求以避免被封IP。
阅读全文