python爬取京东商品,爬取商品的标题,价格,链接,店铺,将返回值放在一个列表中,
时间: 2024-04-20 21:27:17 浏览: 15
好的,您可以使用Python的Requests和BeautifulSoup库来实现。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
def scrape_jd(keyword):
url = f'https://search.jd.com/Search?keyword={keyword}&enc=utf-8'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.select('li.gl-item')
results = []
for item in items:
title = item.select_one('div.p-name a em').text.strip()
price = item.select_one('div.p-price strong i').text.strip()
link = 'https:' + item.select_one('div.p-name a')['href']
shop = item.select_one('div.p-shop span a').text.strip()
results.append({'title': title, 'price': price, 'link': link, 'shop': shop})
return results
results = scrape_jd('手机') # 搜索关键字为手机的商品
print(results)
```
这段代码会返回一个列表,包含每个商品的标题、价格、链接和店铺。您可以修改`scrape_jd`函数的`keyword`参数来搜索其他商品。需要注意的是,网站可能会有反爬虫措施,所以需要设置合适的请求头和使用代理等方法来应对。