使用Python爬取京东宠物网页数据,编写代码
时间: 2024-03-28 13:29:46 浏览: 80
可以的,您可以使用Python的requests和beautifulsoup库,使用requests发送请求获取网页源代码,再使用beautifulsoup解析网页数据。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.jd.com/Search?keyword=%E5%AE%A0%E7%89%A9&enc=utf-8&wq=%E5%AE%A0%E7%89%A9&pvid=ce12d3b34b7c4b1f95e2131fe33315e5'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
}
response = requests.get(url, headers=headers)
html = response.text
soup = BeautifulSoup(html, 'html.parser')
items = soup.select('li.gl-item')
for item in items:
name = item.select('.p-name em')[0].text.strip()
price = item.select('.p-price strong')[0].text.strip()
print(name, price)
```
这段代码可以爬取京东宠物页面的商品名和价格,并输出到控制台上。注意要使用合理的User-Agent伪装浏览器,避免被反爬虫机制封杀。
阅读全文