C++如何实现文件内容去重与排序

# 1. 概述

- 1.1 问题背景
- 1.2 解决方案概述
- 1.3 实现目标

# 2. 读取文件内容

- 2.1 使用C++读取文件
- 2.2 将文件内容存储到内存中

# 3. 去重操作

在文件内容读取完成后，接下来需要对文件内容进行去重操作，确保处理后的数据不包含重复内容。

#### 3.1 去重算法设计

- 遍历读取到的文件内容，将每行内容作为key存储到一个哈希表中。
- 遍历完成后，哈希表中的key即为去重后的数据内容。

#### 3.2 实现去重功能

#include <iostream>
#include <fstream>
#include <unordered_set>
#include <vector>

// 去重操作
void removeDuplicates(std::vector<std::string>& content) {
    std::unordered_set<std::string> seen;
    content.erase(
        std::remove_if(content.begin(), content.end(),
            [&](const std::string& line) {
                return !seen.insert(line).second;
            }
        ),
        content.end()
    );
}

// 示例代码中，content 是保存文件内容的容器，调用 removeDuplicates 函数即