数据挖掘中的数据预处理：ETL与主题网站质量控制

数据质量控制是信息技术领域的重要课题，尤其是在数据预处理过程中发挥着关键作用。这篇四川大学硕士研究生栾江的论文《数据质量控制：数据预处理研究、设计与实现》深入探讨了如何确保数据在数据挖掘和分析中的有效性。作者针对数据挖掘工作中常常忽视的数据处理环节，强调了数据预处理在提升挖掘算法性能和准确性中的必要性。 论文首先阐述了数据预处理在数据仓库（Data Warehouse，简称DW）的质量控制中的重要性，特别是ETL（Extract, Transform, Load）过程中的挑战。ETL是数据集成的关键步骤，通过设计合理的体系结构，解决了数据抽取、转换和加载中的复杂问题，如不同数据源的整合、数据质量问题的识别与解决等。 在单数据源和多数据源的处理上，论文深入研究了可能出现的数据问题，提出针对性的解决策略。例如，对于DBMS（Database Management System）中遇到的schema和instance级别的问题，作者提供了实用的方法来确保数据的一致性和准确性。 针对企业级数据仓库项目，作者还实现了基于RS6000上AIX编写的shell脚本，实现了单数据源的抽取、转换和装载，目标数据库为DB2。这展示了在实际环境中应用数据预处理技术的具体操作。 此外，论文进一步探讨了主题网站质量控制框架，设计了一套文本预处理可扩展框架，包括两种模型（VSM和LM）、质量控制三阶段算法。特别地，针对TextStream这类实时信息源，提出了两种新颖的方案：一种是基于相似度的高速匹配方案，改进了MC方法，结合逻辑阈值，能快速过滤非主题文本，其优点包括在线文本预处理、高效模板更新和低内存需求；另一种则是基于支持向量机（SVM）的增量训练方案，利用SVM的优良分类性能，构建了一种新的增量训练算法，用于实时识别主题和非主题，实验结果显示效果良好。 论文的关键点集中在数据预处理的各个方面，如分词、语言分析、模型建立和特征提取，以及如何结合实际应用场景如数据仓库和主题网站，优化数据质量，提高数据挖掘的效率和精度。这篇论文提供了实用的技术方法和实践经验，对数据质量控制领域的研究具有较高的参考价值。