在DataFrame里去掉特殊符号

可以使用正则表达式来去掉特殊符号，例如：

import re
import pandas as pd

df = pd.DataFrame({'col1': ['hello!@#', 'world$%^']})

df['col1'] = df['col1'].apply(lambda x: re.sub(r'[^\w\s]', '', x))

print(df)

输出结果为：

     col1
0  hello
1  world

这里使用了 `re.sub()` 函数，将所有非字母和数字的字符都替换为空字符串。

相关问题

python读取csv文件并去除特殊符号¥

在Python中，你可以使用pandas库方便地读取CSV文件，并对数据进行预处理，比如移除特殊字符。以下是一个简单的步骤：

首先，确保你已经安装了pandas和openpyxl（如果文件是Excel格式，需要这个）。如果没有，可以使用pip install pandas openpyxl命令安装。

import pandas as pd

# 读取CSV文件
df = pd.read_csv('your_file.csv')

# 定义要去除的特殊字符列表，这里以"¥"为例
special_chars = ['¥']

# 使用str.replace()函数替换特定字符
for char in special_chars:
    df = df.applymap(lambda x: x.strip(char) if isinstance(x, str) else x)

# 保存处理后的数据到新的CSV文件
df.to_csv('new_file.csv', index=False)

这段代码会遍历DataFrame中的每一列（如果是字符串），将其中的"¥"字符替换为空。如果你只是想保留某些列，可以在applymap之前添加一个条件判断。

def replace_excel(path, f): """ 将 Excel .xls 后缀 改成 .xlsx 后缀，并去除特殊符号和非法字符 path: 文件夹路径 f: 文件名字，带后缀，例如 aa.xls """ file_name_be, suff = os.path.splitext(f) # 路径进行分割，分别为文件路径和文件后缀 if suff == '.xls': # 读取 xls 文件 data = pd.DataFrame(pd.read_excel(path + '\\' + f)) # 替换特殊符号和非法字符 data = data.applymap(lambda x: re.sub(r'[\000-\010]|[\013-\014]|[\016-\037]', '', str(x))) # 格式转换 data.to_excel(path + '\\' + file_name_be + '.xlsx', index=False) return file_name_be + '.xlsx'优化这个代码，是把指定文件里面所有的xls文件转换到指定一个文件夹里面，形式要xlsx

可以使用os模块的walk函数，递归遍历指定文件夹下的所有xls文件，并将其转换为xlsx格式并保存到指定的输出文件夹中。以下是优化后的代码：

import os
import re
import pandas as pd

def replace_excel(input_path, output_path):
    # 遍历指定文件夹下的所有文件和子文件夹
    for root, dirs, files in os.walk(input_path):
        for f in files:
            file_name_be, suff = os.path.splitext(f)
            if suff == '.xls':
                # 读取 xls 文件
                data = pd.DataFrame(pd.read_excel(os.path.join(root, f)))
                
                # 替换特殊符号和非法字符
                data = data.applymap(lambda x: re.sub(r'[\000-\010]|[\013-\014]|[\016-\037]', '', str(x)))
                
                # 格式转换并保存
                xlsx_file_path = os.path.join(output_path, file_name_be + '.xlsx')
                data.to_excel(xlsx_file_path, index=False)
                
                print('已将{}文件转换为xlsx格式并保存至{}'.format(f, xlsx_file_path))

在上面的代码中，我们使用了os模块的walk函数来递归遍历指定的文件夹。对于每个xls文件，我们读取它的数据并进行特殊符号和非法字符的替换，然后将其转换为xlsx格式并保存到指定的输出文件夹中。如果转换成功，就会打印出转换后的文件路径。