编译原理用c++写一个分词器能够读入文档进行分词并且将结果输入文档中

编译原理中的分词器通常是一个文本处理程序，用于把连续的字符流分解成有意义的词汇单元，也就是我们所说的“词”。用C++编写一个简单的分词器，可以按照以下几个步骤：

1. **数据结构**：
- 创建一个`Token`类，包含单词（word）、开始位置（startPos）和结束位置（endPos）等属性。

2. **读取输入**：
- 使用标准库中的`fstream`打开并读取文档内容，存储在一个字符串变量或`std::string`容器中。

3. **分词规则**：
- 可能需要预定义一些分词规则，例如空格、标点符号一般作为分隔符。
- 可能会使用正则表达式（如`<regex>`库）来识别和匹配词汇边界。

4. **遍历和分割**：
- 通过循环遍历输入字符串，查找分隔符，然后提取出相邻的子串作为一个新的`Token`实例。

5. **输出结果**：
- 将分词后的`Token`对象添加到另一个数据结构（如`vector<Token>`），以便后续处理或保存到新文档中。
- 用`fstream`写入每个`Token`的内容及其范围到新的文件中。

6. **异常处理**：
- 考虑错误处理，比如文件打开失败、内存不足等情况。

以下是简化的伪代码示例：

#include <iostream>
#include <fstream>
#include <sstream>
#include <vector>
#include <regex>

class Token {
public:
    std::string word;
    size_t startPos;
    size_t endPos;

    // 构造函数和可能的操作...
};

int main() {
    std::ifstream inputFile("input.txt");
    if (!inputFile) {
        std::cerr << "Error opening input file." << std::endl;
        return 1;
    }

    std::string content((std::istreambuf_iterator<char>(inputFile)), {});
    inputFile.close();

    std::istringstream iss(content);
    std::regex tokenRegex("\\s+"); // 分割符为空格
    std::smatch match;
    
    std::vector<Token> tokens;
    while (iss >> match) {
        tokens.push_back({match[0], iss.tellg(), iss.tellg() + match[0].length()});
        iss.ignore();
    }

    std::ofstream outputFile("output.txt");
    for (const auto& token : tokens) {
        outputFile << "Word: " << token.word << ", Start pos: " << token.startPos << ", End pos: " << token.endPos << "\n";
    }
    outputFile.close();

    return 0;
}