数据仓库与外部非结构化数据管理

"这篇文档是关于外部数据和非结构化数据在数据仓库中的管理和安全问题，主要摘自《国家电子政务外网安全等级保护实施指南（定稿）》。文档指出，数据仓库不仅包含内部结构化数据，还涉及到外部数据和非结构化数据的整合与管理。外部数据通常是不可预测格式的，进入数据仓库时如果没有规范处理，会导致数据来源丢失和协同性降低。此外，文档还讨论了外部数据自由获取带来的挑战，如数据意义难以追溯和重用性差。主要数据来源包括外部数据和非结构化数据。文档还提到了决策支持系统（DSS）的发展历程，强调数据仓库在整个信息系统架构中的重要性，并指出从60年代至今DSS的演进过程，以及早期数据处理中的挑战，如磁带文件的访问效率问题和数据一致性难题。" 本文主要知识点： 1. **数据仓库的角色**：数据仓库不仅是内部结构化数据的集成平台，也是管理和整合外部数据和非结构化数据的重要工具。数据仓库提供了一个集中的存储位置，以确保数据的有序和协同。 2. **外部数据与非结构化数据**：外部数据是指来自企业系统外部的数据，常常是非结构化的，难以预测其格式。这种数据进入企业时，如果没有经过规范化处理，可能会失去数据来源信息，影响数据分析的准确性和追溯性。 3. **数据来源标识与协同性**：外部数据进入数据仓库时，必须保留数据源信息，以便后续使用时能追踪数据来源，保证数据的完整性和一致性。缺乏这样的管理，会导致数据间的协同性丧失。 4. **外部数据的获取与管理问题**：自由获取的外部数据在使用后往往难以重新访问，限制了数据的再利用价值。随着时间的推移，数据的价值可能在一定时间内变得非常有用，因此有效的数据管理至关重要。 5. **决策支持系统（DSS）的历史**：DSS的发展是一个长期且复杂的过程，始于20世纪60年代，从单一应用发展到大规模体系结构，其中数据仓库占据了核心位置。早期的数据处理面临诸如磁带文件访问效率低下、数据冗余和一致性问题等挑战。 6. **DSS的演进**：DSS的演变历程反映了信息技术的进步，从早期的主文件和报表系统，到后来对数据一致性和程序维护复杂性的关注，再到当前数据仓库的中心地位，显示了信息处理领域的不断发展和完善。 7. **挑战与解决方案**：早期的挑战，如磁带文件的顺序访问和数据一致性，推动了数据库管理系统和数据仓库技术的发展，以解决这些问题，提高数据处理的效率和准确性。 这些知识点揭示了数据仓库在现代信息系统中的核心作用，以及在处理非结构化数据和外部数据时面临的挑战和解决策略。对于理解和构建高效的数据管理和决策支持系统具有重要的参考价值。