python爬虫爬取文本文档

### 使用Python编写爬虫抓取文本文档

为了使用Python编写一个能够抓取文本文档的简单爬虫，可以采用`urllib.request`模块来发送HTTP请求，并通过读取响应内容获取文档。对于更复杂的解析工作，则可能需要用到像BeautifulSoup这样的库来进行HTML解析，不过针对纯文本文件这一步骤可能是不必要的。

当目标是下载特定URL下的文本文档时，下面是一个基本的例子：

import urllib.request

url = 'http://example.com/path/to/document.txt'  # 文本文档的目标网址
filename = 'downloaded_document.txt'

try:
    with urllib.request.urlopen(url) as response, open(filename, 'wb') as out_file:
        data = response.read()  # a `bytes` object
        out_file.write(data)
except Exception as e:
    print(f"An error occurred while downloading the file: {e}")

这段代码尝试打开指定的URL并将返回的数据保存到本地磁盘上的文件中[^2]。如果遇到任何异常情况（比如网络错误），则会捕获该异常并打印一条消息给用户。

另外，考虑到实际应用环境中可能会面对更加复杂的情况，例如需要处理重定向、设置自定义头部信息等场景下，还可以考虑引入requests库作为替代方案，它提供了更为简洁友好的API接口用于发起各种类型的HTTP请求操作。

一旦成功获取到了所需的文本文档之后，就可以根据具体的需求进一步对其进行分析或加工处理了。