sentences = [] # iterrows()pandas的一个遍历器 for i, row in df.iterrows(): sen = row['title'] + ' ' + row['brand'] + ' ' #print(sen) #eval 这个函数会把里面的字符串参数的引号去掉，把中间的内容当成Python的代码 cates = eval(row['categories']) print(cates) #isinstance是通过判断对象是否是已知的类型 if isinstance(cates, list): for c in cates[0]: sen = sen + c + ' ' sen += row[desc_str] sen = sen.replace('\n', ' ') sentences.append(sen) sentences[:10]

这段代码的作用是将一个 pandas DataFrame 中的每一行数据转化成一个句子，并将这些句子存储到一个列表中。具体的实现方式是通过遍历 DataFrame 中的每一行，提取出其中的标题、品牌、分类和描述等信息，拼接成一个完整的句子，并将其添加到句子列表中。在提取分类信息时，使用了 eval 函数将字符串转化为列表类型，然后遍历列表中的每一个分类，最后将描述信息中的换行符去掉。最终返回了前 10 个句子。

相关问题

def extract_sentence(content): """第一步: 分句+分词+基础数据预处理""" sentences = split_document(content) tmp_all_sentences_words = [_seg_sent(sen) for sen in sentences] all_sentences_words = [words for words in tmp_all_sentences_words if len(words)] all_sentences = [''.join(words) for words in all_sentences_words]

这段代码是一个函数，接受一个参数 content，代表要处理的文本内容。函数的作用是将文本内容分成句子，并对每个句子进行分词和基础数据预处理。

具体来说，函数首先调用一个名为 split_document 的函数，将文本内容分成若干个句子。然后对于每个句子，调用名为 _seg_sent 的函数，将其分词并去除一些无用的词语。最后将所有句子的分词结果保存在 all_sentences_words 列表中，并将每个句子的分词结果拼接起来，保存在 all_sentences 列表中。

需要注意的是，这里的分词和基础数据预处理是通过调用外部函数实现的，代码中并没有给出这些函数的具体实现。

优化代码import os import re import pandas as pd from pandas import DataFrame lst1=[] lst2=[] path1 = r'D:\C-cn' path2 = r'D:\C-en' files1 = os.listdir(path1) files2 = os.listdir(path2) lst1=[] lst2=[] reg1=re.compile(r"[^。？！…]*[。？！……]") reg2=re.compile(r'.*\.[\n ]') df1 = [] df2 = [] for i in range(0,39): domain=os.path.abspath(r'D:\C-cn') file1=os.path.join(domain,files1[i]) fn = open(str(file1),encoding='gbk') f1 = fn.readlines() #print(f1) for line in f1: line=line.rstrip('\n') if "。" not in line: lst1.append(line) else: lis=reg1.findall(line) for j in lis: lst1.append(j) data1=DataFrame({"Chinese":lst1}) df1.append(data1) df1 = pd.concat(df1) df1.to_excel("Chinese.xlsx",index="false") for i in range(0,39): domains=os.path.abspath(r'D:\C-en') file2=os.path.join(domains,files2[i]) ft = open(str(file2),encoding='gbk') f2 = ft.readlines() print(f2) for line in f2: if "." not in line: line=line.rstrip("\n") lst2.append(line) else: liss=line.split(". ") for j in liss: j=j+"." lst2.append(j) data2=DataFrame({"English":lst2}) df2.append(data2) df2 = pd.concat(df2)# 合并所有数据 df2.to_excel("English.xlsx",index="false")

这段代码可以进行一些优化，包括：

1. 将重复的代码封装成函数，避免重复代码。

2. 不需要在每次迭代时都重新初始化 `lst1` 和 `lst2` 列表，可以将其初始化放在循环外面。

3. 在使用 `pandas` 库时，最好使用 `read_csv()` 函数和 `to_csv()` 函数，而不是 `DataFrame()` 和 `to_excel()` 函数。

下面是优化后的代码：

import os
import re
import pandas as pd

def get_sentences(file_path, regex):
    with open(file_path, encoding='gbk') as f:
        lines = f.readlines()
    sentences = []
    for line in lines:
        line = line.rstrip('\n')
        if "。" not in line:
            sentences.append(line)
        else:
            lis = regex.findall(line)
            for j in lis:
                sentences.append(j)
    return sentences

def get_english_sentences(file_path):
    with open(file_path, encoding='gbk') as f:
        lines = f.readlines()
    sentences = []
    for line in lines:
        if "." not in line:
            line = line.rstrip("\n")
            sentences.append(line)
        else:
            liss = line.split(". ")
            for j in liss:
                j = j + "."
                sentences.append(j)
    return sentences

path1 = r'D:\C-cn'
path2 = r'D:\C-en'
files1 = os.listdir(path1)
files2 = os.listdir(path2)

reg1 = re.compile(r"[^。？！…]*[。？！……]")
reg2 = re.compile(r'.*\.[\n ]')

lst1 = []
for i in range(0, 39):
    file1 = os.path.join(path1, files1[i])
    lst1 += get_sentences(file1, reg1)

lst2 = []
for i in range(0, 39):
    file2 = os.path.join(path2, files2[i])
    lst2 += get_english_sentences(file2)

df1 = pd.DataFrame({"Chinese": lst1})
df1.to_csv("Chinese.csv", index=False)

df2 = pd.DataFrame({"English": lst2})
df2.to_csv("English.csv", index=False)

这里将中文和英文的句子分别存储到了 `Chinese.csv` 和 `English.csv` 文件中，以便后续的处理和分析。