python 爬虫文件
时间: 2024-01-10 07:20:30 浏览: 90
以下是使用Python爬虫下载文件的示例代码:
```python
import requests
url = 'http://dol.dr-chuck.com/pythonlearn/EN_us/pythonlearn.pdf'
response = requests.get(url)
with open('learnpython.pdf', 'wb') as file:
file.write(response.content)
```
这段代码使用了`requests`库来发送HTTP请求,并将响应内容保存到本地文件中。首先,我们指定要下载的文件的URL。然后,使用`requests.get()`方法发送GET请求,并将响应保存在`response`变量中。最后,我们使用`open()`函数以二进制写入模式打开一个文件,并使用`write()`方法将响应内容写入文件中。
请注意,这只是一个简单的示例,实际的爬虫可能需要处理更复杂的情况,例如处理重定向、处理登录验证等。此外,还应该注意遵守网站的使用规则和法律法规。
阅读全文