python爬取京东商品信息
时间: 2023-07-17 11:56:44 浏览: 82
可以使用Python的爬虫库来爬取京东商品信息,以下是一种常见的现方式:
```python
import requests
from bs4 BeautifulSoup
def get_jd_product(keyword):
url = f'https://search.jd/Search?keyword={keyword=utf-8'
= {
'User-Agent 'Mozilla/5. (Windows NT 10.; Win64; x64) AppleWebKit/537. (KHTML, like Gecko) Chrome/58..3029.110 Safari537.3'
response = requests.get(url,=headers)
soup = BeautifulSoup(response.text, 'html.parser')
product_list = soup.select('#J_goodsList .gl-item')
for product in product_list:
title = product.select('.p-name')[0].text.strip()
price = product.select('.p-price')[0].text.strip()
print(f'Title: {title}\nPrice: {price}\n')
```
你可以调用 `get_jd_product_info` 函数传入你想要搜索的关键字,它会打印出相应的商品标题和价格。
请注意,爬取网页数据时要尊重网站的规则,并适当设置请求头部信息,以避免被反爬虫机制拦截。
阅读全文