pycharm爬虫代码爬取京东
时间: 2023-10-15 12:27:33 浏览: 160
Python爬取京东
以下是一个使用 requests 和 BeautifulSoup 库爬取京东商品列表的代码示例:
```python
import requests
from bs4 import BeautifulSoup
# 发送请求并获取响应
url = 'https://search.jd.com/Search?keyword=python&enc=utf-8'
response = requests.get(url)
# 使用 BeautifulSoup 解析 HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 获取商品列表
products = soup.select('#J_goodsList > ul > li')
for product in products:
name = product.select_one('.p-name > a > em').text.strip()
price = product.select_one('.p-price > strong').text.strip()
link = product.select_one('.p-name > a')['href']
print(name)
print(price)
print(link)
```
请注意,京东的使用协议禁止对网站进行爬取,请遵守相关规定。
阅读全文