大数据和NoSQL技术概述

大数据与NOSQL概述 大数据概述 大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中，大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。 大数据的4V特征 大数据的4V特征是指大数据的四个关键特征： * Volume（海量）：数据量巨大，对TB、PB数据级的处理，已经成为基本配置。 * Variety（多样）：处理多样性的数据类型，结构化数据和非结构化数据，能处理Web数据，能处理语音数据甚至是图像、视频数据。 * Velocity（实时）：在客户每次浏览页面，每次下订单的过程中都存在，都会需要对用户进行实时的推荐，决策已经变得实时。 * Value（价值）：价值密度低，商业价值高。一条数小时的监控视频，可能有用的数据仅有一两秒。能从海量数据中发掘出这些数据，将成为企业竞争力的重要来源。 大数据的系统需求 大数据的系统需求包括： * 高性能（High-performance）：高新能、高并发读写、实时动态获取和更新数据。 * 海量存储（Huge Storage）：海量数据的高效率存储和访问。 * 高可扩展性和高可用性（High Scalability && High Availability）：需要拥有快速横向扩展能力，能提供7*24小时不间断服务。 大数据的典型架构 大数据的典型架构包括： * 数据计算用时对比：离线计算 > 流式计算 > 实时计算 * 数据处理架构：数据采集、数据存储、数据处理、数据分析等 NOSQL概述 NOSQL（Not Only SQL）是指不仅仅是SQL的数据库管理系统，它拥有更加灵活的数据模型和更加高效的数据存储和检索机制。 NOSQL的优势和不足 NOSQL的优势包括： * 高性能：NOSQL数据库可以处理高并发读写和大规模数据。 * 高可扩展性：NOSQL数据库可以水平扩展，满足大规模数据存储和处理的需求。 * 高灵活性：NOSQL数据库可以处理多样性的数据类型和结构化数据。 NOSQL的不足包括： * 数据一致性问题：NOSQL数据库可能会出现数据一致性问题，需要进行特殊处理。 * 数据安全问题：NOSQL数据库可能会出现数据安全问题，需要进行特殊处理。 NOSQL的CAP理论实现 NOSQL的CAP理论实现是指NOSQL数据库在可用性、数据一致性和分区容忍性之间的trade-off关系。 NOSQL数据模型及分类 NOSQL数据模型包括： * 键值型数据库（Key-Value Database）：如Redis、Riak等。 * 文档型数据库（Document-oriented Database）：如MongoDB、CouchDB等。 * 列存储数据库（Column-oriented Database）：如HBase、Cassandra等。 * 图数据库（Graph Database）：如Neo4j、OrientDB等。 大数据与NOSQL概述全文共23页，当前为第23页。