# 遍历数据行 for i in range(len(df)): author1 = df.loc[i, "author"] org1 = df.loc[i, "org"] max_similarity = 0 # 计算当前行与其他行的相似度 for j in range(len(df)): if i != j: author2 = df.loc[j, "author"] org2 = df.loc[j, "org"] # 计算相似度 similarity = SequenceMatcher(None, org1, org2).ratio() if author1 == author2 and similarity > max_similarity: max_similarity = similarity similarity_list.append(max_similarity)帮我优化一下,太慢了
时间: 2024-04-14 19:25:40 浏览: 96
确实,遍历数据行并计算相似度的方法可能会在数据量较大时变得较慢。为了提高效率,可以使用一种更有效的方法来处理。
以下是优化后的代码示例:
```python
import pandas as pd
from difflib import SequenceMatcher
# 读取原始数据
df = pd.read_excel("1.xlsx")
# 创建空的相似度列表
similarity_list = []
# 根据 author 对数据进行分组
grouped = df.groupby("author")
# 遍历每个分组
for author, group in grouped:
max_similarity = 0
# 获取当前分组的 org 列数据
org_values = group["org"].tolist()
# 计算当前分组内的 org 列数据两两之间的相似度
for i in range(len(org_values)):
for j in range(i+1, len(org_values)):
org1 = org_values[i]
org2 = org_values[j]
# 计算相似度
similarity = SequenceMatcher(None, org1, org2).ratio()
if similarity > max_similarity:
max_similarity = similarity
similarity_list.extend([max_similarity] * len(group))
# 将相似度列表添加为新的一列
df["similarity"] = similarity_list
# 判断是否存在相同的作者数据
duplicates = df.duplicated(subset=["author"], keep=False)
# 筛选相同作者且相同组织的数据并保存到 2.xlsx
same_org_df = df[duplicates & (df["similarity"] == 1)]
same_org_df.to_excel("2.xlsx", index=False)
# 筛选其他数据并保存到 3.xlsx
other_df = df[~duplicates | (df["similarity"] != 1)]
other_df.to_excel("3.xlsx", index=False)
```
优化后的代码首先使用 `groupby()` 方法根据 `author` 列对数据进行分组。然后,遍历每个分组,依次获取当前分组的 `org` 列数据,并计算当前分组内的 `org` 列数据两两之间的相似度。相似度的计算仅在同一分组内进行,避免了不必要的重复计算。接着,将每个分组内的最大相似度值按照数据行数扩展为相似度列表 `similarity_list`。最后,根据相似度列表和作者是否重复的判断,将数据分别保存到 `2.xlsx` 和 `3.xlsx`。
这种优化方法可以减少不必要的计算量,从而提高处理速度。请确保在运行代码之前已经安装了 Pandas 和 difflib 库,并将 `1.xlsx` 文件准确放置在当前工作目录下。
阅读全文