在.append之前筛选数据是否重复

在使用列表的append()方法之前，可以先检查列表中是否已经包含了要添加的数据，如果已经包含了，则不再重复添加。可以使用Python中的in关键字来进行检查。下面是一个示例代码：

my_list = [1, 2, 3, 2, 1, 4, 5, 4, 6, 7, 6]
new_list = []

for item in my_list:
    if item not in new_list:
        new_list.append(item)

print(new_list)

在这个示例中，我们首先创建了一个包含重复元素的列表my_list，然后创建了一个空列表new_list。接着，我们使用for循环遍历my_list中的每个元素，对于每个元素，我们使用if语句检查其是否已经存在于new_list中，如果不存在，则使用append()方法将其添加到new_list中。

执行该代码，将会得到一个去除重复元素后的列表：[1, 2, 3, 4, 5, 6, 7]。

注意，这种方法虽然可以去除重复元素，但是可能会导致列表中元素的顺序发生改变。如果需要保持列表中元素的顺序不变，则可以使用有序集合（如Python中的OrderedDict）来代替set()函数。

相关问题

import pandas as pd import difflib # 读取原始文件 df = pd.read_excel("C:/Users/Admin/Desktop/1000_[].xlsx") # 从第二行开始筛选数据 df = df.iloc[1:] # 检查重复行，并合并相似的行 merged_rows = [] seen_authors = set() for _, row in df.iterrows(): author = row['author'] org = row['org'] if author in seen_authors: for merged_row in merged_rows: if merged_row['author'] == author and difflib.SequenceMatcher(None, str(merged_row['org']), org).ratio() > 0.9: merged_row.update(row) break else: merged_rows.append(row) else: merged_rows.append(row) seen_authors.add(author) # 创建新的数据框 merged_df = pd.DataFrame(merged_rows) df.to_excel("C:/Users/Admin/Desktop/1000_md.xlsx", index=False) print("合并完成并保存为1000_md.xlsx") 报错TypeError: 'float' object is not iterable 如何修改

报错 "TypeError: 'float' object is not iterable" 是因为在某些行中，'org' 列的值是浮点数类型（float），而不是可迭代的对象。造成这个问题的原因可能是原始文件中的某些单元格为空或包含了非字符串类型的数据。

为了解决这个问题，你可以在合并之前先将 'org' 列的值转换为字符串类型。可以使用 `str()` 函数来实现这个转换。以下是修正后的代码：

import pandas as pd
import difflib

# 读取原始文件
df = pd.read_excel("C:/Users/Admin/Desktop/1000_[].xlsx")

# 从第二行开始筛选数据
df = df.iloc[1:]

# 检查重复行，并合并相似的行
merged_rows = []
seen_authors = set()

for _, row in df.iterrows():
    author = row['author']
    org = str(row['org'])  # 将 'org' 列的值转换为字符串类型
    if author in seen_authors:
        for merged_row in merged_rows:
            if merged_row['author'] == author and difflib.SequenceMatcher(None, str(merged_row['org']), org).ratio() > 0.9:
                merged_row.update(row)
                break
        else:
            merged_rows.append(row)
    else:
        merged_rows.append(row)
        seen_authors.add(author)

# 创建新的数据框
merged_df = pd.DataFrame(merged_rows)

merged_df.to_excel("C:/Users/Admin/Desktop/1000_md.xlsx", index=False)

print("合并完成并保存为1000_md.xlsx")

在修正的代码中，我在合并之前使用 `str()` 函数将 'org' 列的值转换为字符串类型。这样可以避免在合并时出现TypeError。

请注意，你需要将文件的保存路径修改为你想要保存的位置。

python脚本实现筛选图片数据集中重复内容超过90%的图像，

您可以使用图像哈希算法来实现筛选图片数据集中重复内容超过90%的图像。图像哈希算法可以将图像转换为一个具有固定长度的哈希值，通过比较哈希值的差异来判断图像之间的相似度。

以下是一个使用平均哈希算法（Average Hash）的示例代码：

from PIL import Image

def average_hash(image, hash_size=8):
    # 缩放图像为指定的尺寸
    image = image.resize((hash_size, hash_size), Image.ANTIALIAS)
    # 转换为灰度图像
    image = image.convert("L")
    # 计算像素平均值
    pixels = list(image.getdata())
    avg = sum(pixels) / len(pixels)
    # 根据像素平均值生成哈希值
    hash_value = ''.join(['1' if pixel > avg else '0' for pixel in pixels])
    return hash_value

def hamming_distance(hash1, hash2):
    # 计算两个哈希值之间的汉明距离
    return sum([char1 != char2 for char1, char2 in zip(hash1, hash2)])

def find_duplicate_images(image_folder, threshold=90):
    image_hash_dict = {}
    duplicate_images = []

    for image_file in image_folder.glob('*.jpg'):  # 遍历图片文件夹中所有的jpg文件
        image = Image.open(image_file)
        image_hash = average_hash(image)

        for existing_hash, existing_image in image_hash_dict.items():
            distance = hamming_distance(image_hash, existing_hash)
            if distance < threshold:
                duplicate_images.append((image_file, existing_image))
                break

        image_hash_dict[image_hash] = image_file

    return duplicate_images

# 使用示例
image_folder = Path('your_image_folder')  # 替换为你的图片文件夹路径
duplicate_images = find_duplicate_images(image_folder, threshold=90)

# 打印重复的图片对
for image1, image2 in duplicate_images:
    print(f"Duplicated images: {image1} and {image2}")

请确保在运行代码之前安装了`Pillow`库（可以使用`pip install Pillow`进行安装）。代码中，`find_duplicate_images`函数使用了平均哈希算法来计算图像的哈希值，并通过比较哈希值之间的汉明距离来判断图像之间的相似度。最后，将重复的图片对打印出来。

注意：上述代码只适用于处理JPEG格式的图像文件。如果你的图片格式不同，可能需要进行相应的调整。