Python3爬取多种文档技术总结：TXT、HTML、Excel等

"这篇文档是关于使用Python3爬取不同类型的文档，包括TXT、CSV等的技巧总结。" 在Python中进行网络爬虫时，不仅要能够处理HTML文档，还需要掌握如何抓取和处理其他格式的文件，如TXT、Word、Excel、PDF和CSV等。下面我们将详细探讨Python抓取这些文档的方法。 1. 抓取TXT文档 Python的`urllib.request.urlopen`是基础的URL打开功能，它可以用于直接下载TXT文档。首先，通过`urlopen`打开指定URL，然后读取返回的内容。如果遇到错误，可以捕获`URLError`和`HTTPError`异常。一旦获取到文档内容，可以使用正则表达式进行关键词搜索或处理。例如，以下代码展示了如何查找包含特定字符串（如"1805"）的句子： ```python from urllib.request import urlopen from urllib.error import URLError, HTTPError import re try: textPage = urlopen("http://www.pythonscraping.com/pages/warandpeace/chapter1.txt") except (URLError, HTTPError) as e: print("Errors:") print(e) text = str(textPage.read()) # 使用正则表达式匹配含"1805"的句子 pattern = re.compile(r'\..*1805(\w|,|\s|-)*(\.)') # 不完美的示例，仅用于演示 match = pattern.search(text) if match is not None: print(match.group()) ``` 当处理非纯文本或编码问题时，可能需要考虑文件的编码方式，例如使用`str(textPage.read(), 'utf-8')`来指定UTF-8编码。 2. 抓取CSV文档 CSV文件通常用于存储表格数据，Python的内置库`csv`可以帮助我们读取和解析这类文件。如果CSV文件是在线的，可以先用`urllib.request`下载，再使用`csv`库打开。例如： ```python import urllib.request import csv url = "http://example.com/file.csv" response = urllib.request.urlopen(url) csv_data = response.read().decode('utf-8') rows = csv.reader(csv_data.splitlines(), delimiter=',') for row in rows: print(row) ``` 3. 处理Excel文档 对于Excel文件（.xlsx），可以使用`openpyxl`库，它支持读写Excel 2010 xlsx/xlsm/xltx/xltm文件。对于旧版的.xls文件，可以使用`xlrd`和`xlwt`库。 4. 抓取PDF文档 PDF文档的处理相对复杂，因为它们可能包含格式化文本、图像和其他复杂元素。Python的`PyPDF2`库可以用来读取PDF的文本内容，而`pdfminer`则提供了更全面的PDF解析能力。 5. 处理Word文档 对于Word文档（.docx），可以使用`python-docx`库来读取和操作文档内容。如果是旧版的.doc文件，可以使用`python-docx`的分支`python-docx-old`。 在实际的网络爬虫项目中，除了基本的文件下载，可能还需要进行页面解析（如使用`BeautifulSoup`或`lxml`库）、数据清洗、数据存储（如数据库操作）等步骤。确保遵循合法的网络爬虫实践，尊重网站的robots.txt规则，并处理可能出现的反爬机制，如验证码、IP限制等。 Python提供了丰富的库和工具来处理各种类型的文档，使得网络爬虫能够获取和处理各种格式的信息。理解并熟练运用这些工具是提升爬虫能力的关键。