我有个文件数据new.csv 如何通过def stopchineseword(segResult): if segResult!=None: segResult=segResult.split() if len(segResult)!=0: segResult=[word_item.split('/')[0] for word_item in segResult] file = open("stopwords.txt","r",encoding='utf-8') data = [] new_segResult=[] for i in file.readlines(): #从文件中读取数据并将其添加到列表中 data.append(i.strip()) for i in segResult: if i in data: #比较是否为停用词 continue else: new_segResult.append(i) return ' '.join(new_segResult) else: return " " else: return ' '来进行去除停用词
时间: 2023-06-16 18:08:06 浏览: 54
STM32实现SD卡的fatfs文件系统,写数据生成.csv文件
4星 · 用户满意度95%
你可以使用以下代码来读取并处理文件中的数据:
```python
import pandas as pd
# 读取csv文件
data = pd.read_csv('new.csv')
# 对每一行的数据应用停用词过滤函数
data['filtered_text'] = data['text'].apply(stopchineseword)
# 将处理后的数据写入新的csv文件
data.to_csv('new_filtered.csv', index=False)
```
这段代码首先使用`pandas`库中的`read_csv`函数读取`new.csv`文件中的数据,并将其存储在`data`变量中。接着,使用`apply`函数对`data`中每一行的`text`列应用`stopchineseword`函数,并将处理后的结果存储在`filtered_text`列中。最后,使用`to_csv`函数将处理后的数据写入新的csv文件`new_filtered.csv`中,其中`index=False`表示不将行索引写入文件中。
阅读全文