使用c++读取大小为40G的txt文件，并将其中的数据进行升序排序，并输出到指定txt文件之中

读取大小为40G的txt文件需要注意内存限制，不能一次性将所有数据读入内存中进行排序。下面是一种基于外部排序的方法，可以将数据分块读入内存中排序，再将已排序的块合并起来输出到指定txt文件中。

#include <iostream>
#include <fstream>
#include <vector>
#include <algorithm>
#include <queue>

using namespace std;

// 读取数据块
vector<int> read_block(ifstream &fin, int block_size) {
    vector<int> block;
    block.reserve(block_size);
    int num;
    while (fin >> num && block.size() < block_size) {
        block.push_back(num);
    }
    return block;
}

// 将多个已排序的块合并为一个有序序列
void merge_blocks(const vector<string> &block_files, const string &output_file, int block_size) {
    priority_queue<pair<int, int>, vector<pair<int, int>>, greater<pair<int, int>>> pq; //最小堆，用于合并多个块
    vector<ifstream> block_fins(block_files.size());
    vector<int> block(block_files.size()); //每个块当前的元素
    for (int i = 0; i < block_files.size(); i++) {
        block_fins[i].open(block_files[i]);
        block[i] = read_block(block_fins[i], block_size)[0]; //读取每个块的第一个元素
        pq.push({block[i], i});
    }
    ofstream fout(output_file);
    while (!pq.empty()) {
        auto [num, idx] = pq.top();
        pq.pop();
        fout << num << endl; //将最小元素输出到文件
        if (block_fins[idx] >> num) { //读取块中的下一个元素
            pq.push({num, idx}); //将新元素加入最小堆
        }
    }
    for (auto &fin : block_fins) {
        fin.close();
    }
}

// 排序并输出每个块
void sort_and_output_block(const vector<int> &block, const string &output_file) {
    sort(block.begin(), block.end());
    ofstream fout(output_file);
    for (const auto &num : block) {
        fout << num << endl;
    }
}

// 外部排序
void external_sort(const string &input_file, const string &output_file, int block_size) {
    int block_num = 0;
    vector<string> block_files;
    ifstream fin(input_file);
    while (!fin.eof()) {
        auto block = read_block(fin, block_size);
        if (block.empty()) {
            break;
        }
        string block_file = "block" + to_string(block_num) + ".txt";
        block_files.push_back(block_file);
        sort_and_output_block(block, block_file);
        block_num++;
    }
    fin.close();
    merge_blocks(block_files, output_file, block_size);
    for (const auto &block_file : block_files) {
        remove(block_file.c_str()); //删除临时文件
    }
}

int main() {
    string input_file = "input.txt";
    string output_file = "output.txt";
    int block_size = 10000000; //10M
    external_sort(input_file, output_file, block_size);
    return 0;
}

其中，`read_block`函数用于读取一个数据块，`sort_and_output_block`函数用于对一个数据块进行排序并输出到指定文件中，`merge_blocks`函数用于将所有已排序的块合并为一个有序序列并输出到指定文件中，`external_sort`函数是整个外部排序的入口函数。在`external_sort`函数中，首先读取数据块并对每个数据块进行排序和输出，然后将已排序的块合并为一个有序序列并输出到指定文件中，最后删除临时文件。`block_size`参数控制每个数据块的大小，可以根据内存大小和排序速度进行调整。