python爬虫京东商品
时间: 2023-11-08 22:47:19 浏览: 117
好的,以下是一个简单的Python爬虫程序,可以爬取京东商品信息:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 获取商品信息的函数
def get_product_info(url):
# 发送GET请求
response = requests.get(url, headers=headers)
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 获取商品名称
name = soup.find('div', {'class': 'sku-name'}).text.strip()
# 获取价格
price = soup.find('span', {'class': 'price J-p-2000220941'}).text.strip()
# 打印商品名称和价格
print('商品名称:', name)
print('价格:', price)
# 要爬取的商品链接
url = 'https://item.jd.com/2000220941.html'
# 调用函数获取商品信息
get_product_info(url)
```
需要注意的是,京东网站有反爬机制,如果爬取频率过高可能会被封IP,建议使用代理IP或者设置爬取间隔时间来规避风险。
阅读全文