Python爬虫requests怎么下载
时间: 2024-09-23 15:01:07 浏览: 31
207集Python爬虫高级实战教程【视频课程】下载整理.zip
在Python中,`requests`库是一个非常流行的用于发送HTTP请求的工具,它方便地实现了GET、POST等基本操作,以及处理响应数据。如果你想用`requests`下载网页内容或文件,可以按照以下步骤操作:
1. 首先,确保已经安装了`requests`库,如果没有安装,可以使用`pip install requests`命令进行安装。
2. 使用`requests.get()`函数发起一个HTTP GET请求,如果目标是静态文件(如图片、PDF),你可以通过`.content`属性获取到二进制数据:
```python
import requests
response = requests.get('http://example.com/file.jpg')
file_data = response.content
```
3. 对于需要保存的数据,可以直接写入到本地文件:
```python
with open('file.jpg', 'wb') as f:
f.write(file_data)
```
4. 如果目标是需要登录或发送POST请求的网页,可以使用`requests.post()`,并提供合适的请求头和数据:
```python
data = {'username': 'your_username', 'password': 'your_password'}
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.post('http://example.com/login', data=data, headers=headers)
```
阅读全文