写一个爬取京东商品的程序
时间: 2024-06-09 20:06:55 浏览: 16
这里给出一个简单的Python程序,可以爬取京东商品的信息:
```python
import requests
from bs4 import BeautifulSoup
def get_jd_page(keyword):
url = f'https://search.jd.com/Search?keyword={keyword}&enc=utf-8'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
response.encoding = 'utf-8'
return response.text
def parse_jd_page(html):
soup = BeautifulSoup(html, 'html.parser')
items = soup.select('#J_goodsList > ul > li')
for item in items:
name = item.select_one('.p-name > a').text.strip()
price = item.select_one('.p-price > strong > i').text.strip()
print(f'商品名: {name}, 价格: {price}')
if __name__ == '__main__':
keyword = input('请输入要搜索的商品名称:')
html = get_jd_page(keyword)
parse_jd_page(html)
```
使用方法:
1. 打开终端,进入Python环境
2. 运行上述代码
3. 输入要搜索的商品名称,按回车键
4. 程序会爬取京东商品搜索结果的第一页,并输出每个商品的名称和价格
需要注意的是,由于京东网站的反爬机制较为严格,如果爬取频率过高可能会被封IP,因此建议使用合适的爬虫策略,比如设置合理的请求头、使用代理IP等。