#分句分词 import pandas as pd import nltk import re import jieba hu = pd.read_csv('D:\文本挖掘\douban_data.csv',error_bad_lines=False #加入参数 ,encoding = 'gb18030') def cut_sentence(text): # 使用jieba库进行分词 seg_list = jieba.cut(text, cut_all=False) # 根据标点符号进行分句 sentence_list = [] sentence = '' for word in seg_list: sentence += word if word in ['。', '!', '?']: sentence_list.append(sentence) sentence = '' if sentence != '': sentence_list.append(sentence) return sentence_list # 获取需要分词的列 content_series =hu['comment'] # 对某一列进行分句 # sentences = [] # for text in content_series: # sentences.extend(nltk.sent_tokenize(text)) # 对每个元素进行分句 # cut_series = content_series.apply(lambda x: nltk.sent_tokenize(x)) cut_series = content_series.apply(lambda x: cut_sentence(x)) # # 对每个元素进行分词 # cut_series = content_series.apply(lambda x: nltk.word_tokenize(x)) # 将分词后的结果添加到原始的DataFrame中 xxy = pd.concat([comments, cut_series.rename('cut_sentences')], axis=1)
时间: 2024-03-04 09:54:10 浏览: 215
extract-eng-sentence.rar_site:www.pudn.com_英文自动分句
这段代码的作用是将一个包含评论的数据集进行分句和分词处理,并将处理后的结果添加到原始的DataFrame中。具体来说,它首先使用pandas库读取一个csv文件,然后定义了一个cut_sentence函数,使用jieba库进行分词,并根据标点符号进行分句。接着,它将需要分词的列取出,使用apply函数对每个元素进行分句和分词处理,得到一个Series对象。最后,它使用concat函数将原始DataFrame和分词后的Series对象按列合并,并将列名分别命名为comments和cut_sentences。
阅读全文