pandas分行读取txt

Pandas 是一个强大的 Python 数据分析库，它提供了快速、灵活和表达式丰富的数据结构，专为处理结构化（表格、多维、异质）和时间序列数据而设计。在处理文本文件（尤其是 txt 文件）时，Pandas 提供了 `read_table` 或 `read_csv` 等函数来读取数据。

若要使用 Pandas 分行读取 txt 文件，可以使用 `read_csv` 函数，其中可以通过设置 `iterator=True` 参数来启用迭代器模式，然后逐行读取数据。这在处理大型文件时特别有用，因为它不需要一次性将所有数据加载到内存中。下面是一个基本的用法示例：

import pandas as pd

# 文件路径
file_path = 'example.txt'

# 使用 read_csv 函数逐行读取
chunk_iter = pd.read_csv(file_path, iterator=True, chunksize=1)

# 遍历每行数据
for chunk in chunk_iter:
    print(chunk)

在上面的代码中，`chunksize=1` 表示每次迭代读取文件的一行。`chunk_iter` 是一个迭代器，它会逐行返回数据。

此外，如果你希望逐行读取而不使用 `read_csv` 的迭代器模式，也可以使用 Python 的标准文件读取方法 `open` 结合 Pandas 的 `read_csv` 函数，如下所示：

import pandas as pd

# 文件路径
file_path = 'example.txt'

# 打开文件
with open(file_path, 'r') as file:
    # 逐行读取
    for line in file:
        # 将每一行数据转换为 DataFrame
        df = pd.read_csv(pd.compat.StringIO(line), sep='\t')  # 这里使用 StringIO 来模拟文件对象
        print(df)

在上面的代码中，`pd.compat.StringIO` 是用于将字符串模拟成文件对象的工具，这样 `read_csv` 函数就可以像处理文件一样处理它。`sep='\t'` 表示以制表符作为分隔符来解析文本，根据实际的分隔符情况来调整。