大文件csv中遍历所有列pandas，如果一列中第二个数不为0，第三个数为-100，则删除该行

可以使用 Pandas 库中的 read_csv()方法读取大文件，然后使用 drop() 方法删除符合条件的行。

以下是代码示例：

import pandas as pd

# 读取大文件
chunksize = 10000
for chunk in pd.read_csv('large_file.csv', chunksize=chunksize):
    # 判断符合条件的行
    mask = (chunk.iloc[:, 1].astype(int) != 0) & (chunk.iloc[:, 2].astype(int) == -100)
    # 删除符合条件的行
    chunk.drop(chunk[mask].index, inplace=True)
    # 处理后的数据写入新的文件
    chunk.to_csv('new_file.csv', mode='a', header=False, index=False)

上述代码将大文件按照每次读取 10000 行的方式读取，然后遍历所有列。使用 iloc[] 方法选择第二列和第三列，利用 astype() 方法将这两列数据转换为 int 类型，然后使用逻辑运算符 & 和 != 判断符合条件的行。最后，使用 drop() 方法删除符合条件的行，并使用 to_csv() 方法将处理后的数据写入新的文件。

相关问题

大文件csv中遍历所有列，如果一列中第二个数不为0，第三个数为-100，则删除该行

可以使用Python的pandas库来实现大文件csv中的行删除操作。可以按照以下步骤实现：

1. 使用pandas库的read_csv函数读取csv文件，使用chunksize参数来分块读取文件，避免将整个文件读入内存。

2. 遍历每个数据块，使用drop函数删除符合条件的行。

3. 将处理后的数据块写入新的csv文件中。

下面是一段示例代码，可以根据实际情况修改参数和条件：

import pandas as pd

# 读取csv文件，分块读取
for chunk in pd.read_csv('file.csv', chunksize=1000):
    # 删除符合条件的行
    chunk = chunk.drop((chunk.iloc[:, 1] != 0) & (chunk.iloc[:, 2] == -100))
    # 将处理后的数据块写入新的csv文件中
    chunk.to_csv('new_file.csv', mode='a', header=False, index=False)

其中，iloc[:, 1]表示选取所有行的第二列数据，iloc[:, 2]表示选取所有行的第三列数据。符号&表示逻辑与操作，|表示逻辑或操作。如果需要删除多个条件满足的行，可以在drop函数中使用多个条件并列，用符号|或&连接。注意，在删除行时，需要将处理后的数据块写入新的csv文件中，使用mode='a'表示追加写入，header=False表示不写入列名，index=False表示不写入行索引。

python如何用pandas将一个文件夹里面的所有csv文件的第2列拼接成一列，忽略表头

您可以使用Python中的pandas和os模块来完成此操作。

以下是实现的步骤：

1. 导入必要的模块

import pandas as pd
import os

2. 定义一个函数，用于读取csv文件并返回指定列的数据

def read_csv_file(filename, column):
    df = pd.read_csv(filename, header=None, usecols=[column])
    return df

这个函数将读取文件，并使用pandas的read_csv()方法读取指定的列，忽略表头（由于header参数设置为None）。usecols参数指定要读取的列。

3. 定义一个空的DataFrame对象，用于保存所有文件的数据

combined_data = pd.DataFrame()

4. 使用os模块遍历文件夹中的所有csv文件，并将它们的数据添加到combined_data中

folder_path = r"/path/to/folder"

for filename in os.listdir(folder_path):
    if filename.endswith(".csv"):
        file_path = os.path.join(folder_path, filename)
        column_data = read_csv_file(file_path, 1)
        combined_data = pd.concat([combined_data, column_data], ignore_index=True)

这个循环将遍历文件夹中的所有csv文件，并对每个文件调用read_csv_file()函数。然后，使用pandas的concat()方法将读取的列数据添加到combined_data中。

ignore_index参数设置为True，以确保新DataFrame中的索引是连续的。

5. 将数据保存到文件

combined_data.to_csv("combined_data.csv", index=False, header=False)

这将把所有文件的第二列数据拼接成一列，忽略表头，并保存到combined_data.csv文件中。

完整代码如下：

import pandas as pd
import os

def read_csv_file(filename, column):
    df = pd.read_csv(filename, header=None, usecols=[column])
    return df

combined_data = pd.DataFrame()

folder_path = r"/path/to/folder"

for filename in os.listdir(folder_path):
    if filename.endswith(".csv"):
        file_path = os.path.join(folder_path, filename)
        column_data = read_csv_file(file_path, 1)
        combined_data = pd.concat([combined_data, column_data], ignore_index=True)

combined_data.to_csv("combined_data.csv", index=False, header=False)

请将`/path/to/folder`替换为实际的文件夹路径。