python爬虫关键字搜索淘宝商品价格信息
时间: 2023-06-23 18:43:40 浏览: 136
好的,以下是一个简单的Python爬虫示例,可以用于搜索淘宝商品的价格信息。
```python
import requests
from bs4 import BeautifulSoup
# 设置搜索关键词和搜索页数
keyword = '手机'
page_num = 2
# 搜索接口
url = 'https://s.taobao.com/search?q={}&s={}'.format(keyword, (page_num - 1) * 44)
# 发送请求并获取搜索结果页面源代码
response = requests.get(url)
html = response.text
# 解析搜索结果页面,获取商品链接和价格信息
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('div', {'class': 'item'})
for item in items:
# 商品链接
url = item.find('a')['href']
# 商品名称
title = item.find('a').text.strip()
# 商品价格
price = item.find('div', {'class': 'price'}).text.strip()
print(title, price, url)
```
在这个示例程序中,我们使用了requests库来发送HTTP请求,并使用BeautifulSoup库来解析HTML页面并提取所需的信息。我们使用了淘宝的搜索接口,将关键词和搜索页数作为参数传递给接口。然后,我们从搜索结果页面中提取出商品的链接和价格信息,并输出到控制台上。
需要注意的是,这个示例程序只是一个简单的示例,您需要根据自己的需求进行修改和扩展。同时,注意遵守网站的使用规则,不要频繁访问网站,以免被封禁IP。
阅读全文