判断文件中json的数据是否重复

要判断文件中JSON数据是否重复，可以按照以下步骤进行：

1. 读取文件中的所有JSON数据，可以使用Python的json模块进行解析。
2. 对于每个JSON数据，计算其哈希值（可以使用Python的hashlib模块），将哈希值存储到一个集合中。
3. 如果集合中已经存在该哈希值，则说明该JSON数据是重复的。

示例代码：

import json
import hashlib

def has_duplicate_json(file_path):
    hash_set = set()
    with open(file_path, 'r') as f:
        for line in f:
            json_data = json.loads(line.strip())
            json_str = json.dumps(json_data, sort_keys=True).encode('utf-8')
            json_hash = hashlib.md5(json_str).hexdigest()
            if json_hash in hash_set:
                return True
            hash_set.add(json_hash)
    return False

该函数接受一个文件路径作为输入，返回一个布尔值，表示文件中是否存在重复的JSON数据。函数内部遍历文件中的每一行JSON数据，并计算其哈希值，判断是否存在重复。函数可以根据实际情况进行修改。