requests爬虫抓取京东商品信息
时间: 2024-06-20 11:03:24 浏览: 25
requests是Python中一个常用的HTTP库,可以用于发送HTTP请求。使用requests库,可以实现抓取京东商品信息的功能。具体步骤如下:
1. 导入requests库
2. 构造请求URL并发送请求
3. 解析返回的HTML内容,提取所需信息
以下是一个简单的requests爬虫抓取京东商品信息的示例代码:
```
import requests
from bs4 import BeautifulSoup
url = "https://search.jd.com/Search?keyword=手机" # 构造请求URL
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299"
} # 设置请求头部信息,模拟浏览器访问
response = requests.get(url, headers=headers) # 发送请求,获取响应
html = response.text # 获取响应内容
soup = BeautifulSoup(html, "html.parser") # 使用BeautifulSoup库解析HTML内容
items = soup.select(".gl-item") # 通过CSS选择器提取商品列表项
for item in items:
name = item.select(".p-name a em").text.strip() # 提取商品名称
price = item.select(".p-price i").text.strip() # 提取商品价格
print(name, price)
```
相关问题:
1. requests库是什么?
2. 如何构造请求URL并发送请求?
3. 如何解析返回的HTML内容?
4. 如何提取所需信息?
5. 如何设置请求头部信息?
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)