python京东爬虫
时间: 2023-10-10 20:09:01 浏览: 119
您好!对于京东的爬虫,您可以使用Python编写爬虫程序来获取京东商品的数据。以下是一个简单的示例代码,使用了requests库和BeautifulSoup库来进行网页的请求和解析:
```python
import requests
from bs4 import BeautifulSoup
def get_jd_data(keyword):
url = f"https://search.jd.com/Search?keyword={keyword}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.select('.gl-item')
for item in items:
name = item.select('.p-name')[0].text.strip()
price = item.select('.p-price')[0].text.strip()
print(f"商品名称: {name}")
print(f"商品价格: {price}")
print('------------------------')
# 调用函数并传入关键词
get_jd_data("手机")
```
这段代码会根据指定的关键词在京东搜索页面上获取商品名称和价格,并进行打印输出。您可以根据需要进一步处理这些数据。
请注意,网站的结构可能会有变化,需要根据实际情况进行调整。此外,为了避免给网站造成过多负担,请合理设置请求频率和使用代理等方式来降低对京东服务器的压力。同时,请遵守网站的使用规则和法律法规,合法使用爬虫。
阅读全文