python爬取下载网页文件

可以使用Python中的requests库来下载网页文件。以下是一个简单的例子：

import requests

url = 'http://example.com/file.pdf'  # 要下载的文件的URL
filename = 'file.pdf'  # 下载后要保存的文件名

response = requests.get(url)

with open(filename, 'wb') as f:
    f.write(response.content)

这段代码会向指定的URL发送一个GET请求，获取文件内容。然后使用Python内置的open函数打开一个文件，将文件内容写入该文件中。在这个例子中，我们使用了'wb'模式来打开文件，这意味着我们要写入二进制数据。

注意，如果要下载的文件非常大，可能需要考虑使用流式传输来避免内存问题。可以使用response.iter_content()方法来逐块读取数据，然后写入文件。例如：

import requests

url = 'http://example.com/large_file.zip'  # 要下载的文件的URL
filename = 'large_file.zip'  # 下载后要保存的文件名

response = requests.get(url, stream=True)

with open(filename, 'wb') as f:
    for chunk in response.iter_content(chunk_size=1024):
        if chunk:  # 确保分块存在
            f.write(chunk)

这段代码会将文件内容按照1024字节的块进行读取，然后写入文件。这样可以避免一次性加载整个文件内容到内存中。