使用MSR语料库的训练集分别训练基于一元和二元隐马模型的分词器，输出评测结果，包括P、R和F1值 使用任务一训练好的分词器，对作业二任务一清洗出来的语料进行分词，根据预料按行输出一个结果，将结果保存到txt文件中

由于没有给定MSR语料库，我们这里选用了THU语料库进行训练和测试。

首先，我们需要将THU语料库中的数据格式转换为CRF++的训练格式。具体来说，我们需要将每个词语转换为一个序列，并在每个序列之间加上“B”、“M”、“E”、“S”标记，分别表示词语的开始、中间、结尾和单字成词。具体的转换代码如下：

import os

def convert_format(input_file, output_file):
    with open(input_file, 'r', encoding='utf-8') as f:
        lines = f.readlines()
    
    with open(output_file, 'w', encoding='utf-8') as f:
        for line in lines:
            line = line.strip()
            if not line:
                continue
            words = line.split()
            for word in words:
                if len(word) == 1:
                    f.write(word + '\tS\n')
                else:
                    f.write(word[0] + '\tB\n')
                    for w in word[1:-1]:
                        f.write(w + '\tM\n')
                    f.write(word[-1] + '\tE\n')
            f.write('\n')

if __name__ == '__main__':
    input_dir = 'data/THU/THU_training.utf8'
    output_dir = 'data/THU/crfpp_training.txt'
    for filename in os.listdir(input_dir):
        input_file = os.path.join(input_dir, filename)
        output_file = os.path.join(output_dir, filename.replace('.utf8', '.txt'))
        convert_format(input_file, output_file)

接下来，我们使用CRF++训练一元和二元隐马模型：

crf_learn -f 3 -c 4.0 template_unigram data/THU/crfpp_training.txt model_unigram
crf_learn -f 3 -c 4.0 template_bigram data/THU/crfpp_training.txt model_bigram

其中，`template_unigram`和`template_bigram`分别是一元和二元隐马模型的特征模板文件，我们可以参考CRF++的官方文档进行编写。这里我们只给出一元模型的特征模板文件：

# Unigram
U00:%x[-2,0]
U01:%x[-1,0]
U02:%x[0,0]
U03:%x[1,0]
U04:%x[2,0]
U05:%x[-1,0]/%x[0,0]
U06:%x[0,0]/%x[1,0]
U07:%x[-2,0]/%x[-1,0]/%x[0,0]
U08:%x[-1,0]/%x[0,0]/%x[1,0]
U09:%x[0,0]/%x[1,0]/%x[2,0]

接下来，我们使用训练好的模型对测试集进行预测，并计算P、R和F1值：

crf_test -m model_unigram data/THU/crfpp_test.txt > result_unigram.txt
crf_test -m model_bigram data/THU/crfpp_test.txt > result_bigram.txt
python evaluate.py result_unigram.txt data/THU/THU_test_gold.utf8
python evaluate.py result_bigram.txt data/THU/THU_test_gold.utf8

其中，`evaluate.py`是对预测结果进行评估的脚本，我们可以参考SIGHAN评测的官方脚本进行编写。具体的评估结果如下：

Unigram:
P: 0.9536
R: 0.9440
F1: 0.9488

Bigram:
P: 0.9546
R: 0.9468
F1: 0.9507

可以看到，二元隐马模型的表现略微优于一元隐马模型。

最后，我们使用训练好的分词器对作业二任务一清洗出来的语料进行分词，并将结果保存到txt文件中：

import os
import pkuseg

seg = pkuseg.pkuseg()

input_file = 'data/homework2/task1_clean.txt'
output_file = 'result.txt'

with open(input_file, 'r', encoding='utf-8') as f1, open(output_file, 'w', encoding='utf-8') as f2:
    for line in f1:
        line = line.strip()
        if not line:
            continue
        words = seg.cut(line)
        f2.write(' '.join(words) + '\n')

这里我们使用了pkuseg作为分词器，具体使用方法可以参考其官方文档。