df = pd.read_csv('test.csv',encoding='gbk')报错：UnicodeDecodeError: 'gbk' codec can't decode byte 0xb1 in position 5: illegal multibyte sequence

这个错误通常是因为读取的文件编码格式不正确，导致无法成功解码。你可以尝试使用其他编码格式进行读取，或者使用 Python 的 chardet 库来自动检测文件编码格式。

使用 chardet 库的示例如下：

import chardet
import pandas as pd

# 自动检测文件编码格式
with open('test.csv', 'rb') as f:
    result = chardet.detect(f.read())
encoding = result['encoding']

# 使用正确的编码格式读取文件
df = pd.read_csv('test.csv', encoding=encoding)

这样可以确保使用正确的编码格式读取文件，避免出现解码错误。如果 chardet 检测的编码格式不正确，可以尝试手动指定其他编码格式，例如 utf-8、gb18030 等。

相关问题

df = pd.read_csv('test.csv')报错：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd0 in position 0: invalid continuation byte

这个错误提示表明在读取 CSV 文件时遇到了编码问题，因为默认情况下 pd.read_csv() 函数会使用 UTF-8 编码读取文件。

解决方法一般有以下几种：

1. 指定文件编码方式。可以通过 `encoding` 参数指定文件的编码方式，例如：`df = pd.read_csv('test.csv', encoding='gbk')`。

2. 尝试其他编码方式。如果指定的编码方式无效，可以尝试其他编码方式。例如：`df = pd.read_csv('test.csv', encoding='iso-8859-1')`。

3. 手动转换文件编码。如果以上方法都无效，可以尝试手动转换文件编码。例如使用 Notepad++ 打开文件，然后选择“编码”->“转换为 UTF-8”，保存后再读取文件。

希望以上方法能够帮助你解决问题。

df = pd.read_csv(os.path.join(sub_root, file))报错：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position 6: invalid start byte

这个错误通常意味着您的 CSV 文件使用了其他编码方式（例如 GBK），而不是 UTF-8。您可以尝试指定文件编码方式来解决这个问题。以下是一个示例代码：

import os
import pandas as pd

# 设置文件夹路径
folder_path = "/path/to/folder"

# 初始化计数器
total_rows = 0

# 遍历所有文件夹和文件
for root, dirs, files in os.walk(folder_path):
    for dir in dirs:
        # 如果子文件夹还有子子文件夹
        for sub_root, sub_dirs, sub_files in os.walk(os.path.join(root, dir)):
            for file in sub_files:
                # 如果文件是 CSV 文件
                if file.endswith(".csv"):
                    # 读取 CSV 文件，并指定编码方式
                    df = pd.read_csv(os.path.join(sub_root, file), encoding='GBK')
                    rows = df.shape[0]
                    # 将行数加到计数器中
                    total_rows += rows

# 输出结果
print("总行数为：", total_rows)

请将 `/path/to/folder` 替换为您的文件夹路径。这个代码会遍历所有的子文件夹和 CSV 文件，并使用 pandas 库读取 CSV 文件并指定编码方式（例如 GBK），然后统计行数并加到计数器中，最后输出总行数。