北京大学计算语言学研究所《现代汉语语料库加工规范》

"现代汉语语料库加工规范是北京大学计算语言学研究所制定的一套用于汉语语料库处理的标准，包括词语切分和词性标注。该规范最初为《现代汉语文本切分与词性标注规范V1.0》，在经过多次实践和改进后，发展为《现代汉语语料库加工规范V2.0》。规范旨在确保大规模语料加工的顺利进行，同时兼顾语言信息处理、语料库语言学研究以及传统语言研究的需求。" 在现代汉语语料库加工规范中，主要关注以下几个方面： 1. **词语切分**：遵循中国国家标准GB13715“信息处理用现代汉语分词规范”，并根据词语切分与词性标注的实际操作，进行必要的调整和补充。结合《现代汉语语法信息词典》作为参照，确保切分的准确性。 2. **词性标注**：采用26个基本词类标记，如名词、动词、形容词等，并扩展增加了专有名词分类标记（如人名nr、地名ns等）、语素子类标记（如名语素Ng、动语素Vg等）以及动词和形容词的子类标记（如名动词vn、名形词an等），共计约40个标记，以更精细地表示词汇的功能和特性。 3. **规范的多元性**：考虑到不同领域的需求，规范不仅适用于计算机自动处理，也便于人工校对，旨在为语言研究提供广泛而深入的数据支持。 4. **词组（短语）本位的汉语语法体**：在处理语料时，不仅仅关注单个词汇，还重视短语结构的分析，这对于理解和研究汉语的语法特征至关重要，尤其是在自动化处理和语料库构建中。 5. **版本迭代**：从V1.0到V2.0的升级，反映了随着技术进步和实践经验积累，规范不断完善的历程，以应对更复杂的语料处理任务，如《人民日报》语料加工等。 这个规范对于汉语自然语言处理（NLP）领域有着深远的影响，它为汉语文本分析、机器学习模型训练、信息检索、智能对话系统开发等多个应用提供了基础和标准。同时，它也是语言学家进行现代汉语研究的重要工具，促进了传统语言学与计算语言学的交叉融合。