自动构建中英双语翻译语料库的Web数据挖掘方法

本文主要探讨了"一种基于Web数据挖掘构建中英双语对照翻译语料库的方法"这一主题，由刘东飞和周星两位作者在武汉理工大学计算机科学与技术学院提出。他们利用网络爬虫技术，从海量互联网上搜集数据，对这些数据进行深度处理，包括复杂的净化、分析和双语识别，以识别出包含中英文对照翻译的文本片段。这种方法的优势在于能够自动积累大量翻译数据，翻译内容主要来源于互联网，既具有规模性又具有一定的准确性，对于机器翻译研究提供了宝贵的参考资源。 在当前机器翻译领域，主流方法主要分为基于规则和基于语料库两种。基于规则的方法面临语言歧义处理的挑战，而基于语料库的方法，如翻译记忆，依赖于用户建立的平行语料库，通过搜索相似翻译资源来打破歧义。然而，人工构建语料库效率低下，难以满足大规模、自动化的需求。因此，研究者致力于开发自动化的语料库构建技术，如本文所描述的Web数据挖掘方法。 Web数据挖掘在此研究中扮演了关键角色，它涉及到从互联网海量信息中提取有价值的信息和知识。这种方法不仅要利用网页内容，还需结合网络资源及其内在关联，以挖掘出潜在的双语对照信息。通过一系列复杂的识别、匹配和索引操作，"双语辅助翻译搜索引擎"项目成功构建了中英双语平行语料库，显著提高了效率，降低了人工干预的需求。 总结来说，本文的核心贡献在于提出了一种高效、自动化的构建中英双语对照翻译语料库的方法，利用Web数据挖掘技术解决了传统人工构建方式的局限性，为机器翻译领域的进一步发展提供了强有力的技术支持。通过深入理解并应用这种技术，有望推动机器翻译的准确性和实用性到达新的水平。