Linux C/C++ 如何使用保存大于4个G的二进制文件

在Linux环境下编写C/C++程序，处理大于4GB的大文件通常涉及到文件系统和内存管理的问题。由于大多数现代操作系统（包括Linux）对文件大小有限制（例如在ext3/4等旧版本中最大支持约2TB），因此需要一些策略来分块读写大型文件。一种常见的做法是使用二进制I/O流（`FILE *`），配合`fopen`、`fseek`、`fwrite`以及`fread`函数，并结合内存映射技术（`mmap`）。

这里是一个基本的步骤指南：

1. 使用`fopen`打开文件，指定模式为“rb+”（读写模式），例如：

   int fd = open("large_file.bin", O_RDWR | O_LARGEFILE); // O_LARGEFILE 标志告诉系统这是一个大文件
   if (fd == -1) {
       perror("Failed to open file");
       return -1;
   }
   FILE *fp = fdopen(fd, "r+b");

2. 使用`fseek`设置开始写入的位置，比如从文件末尾开始：

   fseek(fp, 0, SEEK_END); // 将指针移动到文件末尾

3. 分块写入数据，可以设定一个合适的缓冲区大小，如64KB或更大，然后每次写入这个缓冲区的内容：

   const size_t BUFFER_SIZE = 1 << 20; // 1MB
   char buffer[BUFFER_SIZE];
   while (true) {
       size_t bytes_to_write = min(buffer_size, remaining_data_size);
       read_data_into_buffer(remaining_data_size, buffer, &bytes_to_write); // 自定义函数填充缓冲区
       if (!write_data_to_file(buffer, bytes_to_write)) break; // 写入并检查是否结束
   }

4. 使用`mmap`进行内存映射，可以一次性读取大文件到内存中：

   void* mapped_addr = mmap(NULL, large_file_size, PROT_READ | PROT_WRITE, MAP_PRIVATE, fd, 0);
   if (mapped_addr == MAP_FAILED) {
       perror("Memory mapping failed");
       return -1;
   }

5. 操作完毕后，记得使用`munmap`释放映射的内存，然后关闭文件和文件描述符：

   munmap(mapped_addr, large_file_size);
   fclose(fp);
   close(fd);

以上步骤仅适用于内存足够大的情况。对于非常大的文件，可能还需要考虑其他优化，如异步IO或多线程处理。另外，在实际生产环境中，建议使用专门处理大文件的库，如Boost.IOStreams或Google's Snappy库，它们能提供更好的错误处理和性能。