批量读取文件夹中的pdf中的数据

批量读取文件夹中的 PDF 文件并提取其中的数据是一项常见的任务，特别是在处理大量文档的情况下。Python 提供了几个库可以帮助我们完成这项工作，如 PyPDF2 和 tabula-py。以下是使用这两个库的一个基本步骤：

1. **安装所需库**:
- 如果还没有安装，首先使用 pip 安装：

     pip install PyPDF2 tabula-py

2. **导入必要的模块**:

   import os
   import glob
   from PyPDF2.pdf import PdfReader
   from tabula import read_pdf

3. **遍历文件夹**:
获取文件夹中的所有 PDF 文件路径，可以使用 glob 模块：

   pdf_dir = '/path/to/your/pdf/folder'
   pdf_files = glob.glob(os.path.join(pdf_dir, "*.pdf"))

4. **读取 PDF 文件内容** (PyPDF2):

   data_list = []
   for file in pdf_files:
       with open(file, 'rb') as f:
           reader = PdfReader(f)
           text = '\n'.join(page.extract_text() for page in reader.pages)
           # 可能需要清理文本，去除无关信息
           cleaned_data = clean_text(text)
           data_list.append(cleaned_data)

5. **转换 PDF 到表格** (tabula-py) (如果 PDF 中有表格形式的数据)：

   table_df_list = []
   for file in pdf_files:
       tables = read_pdf(file)
       for table in tables:
           table_df = pd.DataFrame(table)
           # 同样可能需要清洗表格数据
           cleaned_table = clean_table(table_df)
           table_df_list.append(cleaned_table)

6. **数据处理**:
清理、合并或存储提取到的数据，取决于你的需求。

注意：这只是一个基础示例，实际操作可能需要针对特定的 PDF 结构进行更复杂的解析，例如使用 PDFMiner 或第三方库如 pdfplumber。