pycharm如何爬取京东
时间: 2023-06-17 09:05:00 浏览: 162
Python爬取京东
PyCharm是一个Python IDE(集成开发环境),可以用来写Python代码,但是不能直接用来爬取京东。要爬取京东,可以使用Python中的requests库和beautifulsoup库来获取网页内容并解析网页。
以下是一个简单的爬取京东商品信息的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.jd.com/Search?keyword=python'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.select('.gl-item')
for item in items:
name = item.select('.p-name')[0].text.strip()
price = item.select('.p-price')[0].text.strip()
print(name, price)
```
以上代码会爬取京东搜索结果中关键词为“python”的商品信息并打印出来。在使用时,请注意遵守网站的爬虫协议和法律法规。
阅读全文