iSCSI基下重复数据删除系统设计与性能优化：压缩与检索效率提升

151 浏览量更新于2024-06-23 收藏 952KB DOC 举报

随着信息化时代的飞速发展，企业面临的数据量激增问题对存储资源产生了巨大压力。传统的单纯扩容磁盘策略已不再经济高效，因此数据删除技术成为了一个重要的解决方案。本篇毕业论文深入探讨了基于iSCSI（Internet Small Computer System Interface）的重复数据删除系统设计与实现。论文首先介绍了背景，强调了随着数据量的增长，企业需要寻找更有效的存储解决方案，而非仅仅依赖于扩大存储空间。重复数据删除技术作为减少存储需求的手段，通过识别并消除存储中的重复数据，显著降低了存储成本和备份恢复的复杂性。核心部分，作者详细阐述了系统架构。该系统围绕LBA（Logical Block Addressing）映射、指纹计算、指纹检索和指纹索引表管理展开。LBA映射表是关键组件，它确保了数据删除前后逻辑地址的转换和一致性。指纹计算模块采用了SHA-1散列算法，将4KB数据块转换成160位的指纹值，实现了数据块的唯一标识。指纹检索和索引管理采用了三级索引结构，提高了指纹定位和查找的效率。然而，指纹检索性能是系统的一个瓶颈，为此，作者引入了布鲁姆过滤器优化策略，通过预判和过滤，显著提升了检索速度，减少了不必要的计算负载。论文还对系统性能、压缩比和检索过滤算法进行了实证测试。测试结果显示，尽管加入了重复数据删除功能后，系统性能确实有所下降，但这种下降在可接受范围内。在重复数据删除的压缩比测试中，发现其效果受应用环境影响显著，尤其在备份和归档这类高重复度场景下，能实现良好的压缩效果。检索过滤算法的测试同样达到了预期，过滤率和误判率都达到了理想水平。这表明该优化方案在实际应用中是有效且实用的。这篇毕业论文研究了如何利用iSCSI平台设计并实现一种高效的重复数据删除系统，旨在降低存储成本，提升存储性能，并针对关键性能瓶颈进行了优化。这对于企业和数据中心管理大规模数据存储具有重要的实践意义。

SelectionParagraphFormatLineSpacingLinesToPointsSelectionParagraphFormatLineSpacingLinesToPointselectionParagraaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaphFormatLineSpacingLinesToPointsSelectionParagraphFormatLineSpacingLinesTSelectionParbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbagraphFoLineSpacingLinesToPointsSelectionParagraphFormatLineSpacingLinesToPointse11111111111111111111111111111111lectionParagraphFormatLineSpacingLinesToPointsSelectionParagraphFormatLineSpacingLinesToPoctionParagraphFormatLineSpaci2222222222222222222222ngLinesToPoints2SelectionParagraphFormatLineSpacingLinesToPointsSelectionParagraphFormatLineSpacingLinesToPointselectionParagraphFccccccccccccccccccccccccccccccccccccccccccccccccccccccccormatLineSpacingLinesToPointsSelectionParagraphFormatLineSpacingLinesToPoctionParagraSelec

目前，市场上提供重复数据删除的厂商基本上可以分为两个阵营：In-line（带内）

重复数据删除和 Post-process（带外）重复数据删除。In-line 重复数据删除是指数据保

存到存储系统之前就进行重复数据删除，这样做的优势在于备份过程只需进行一次。

Post-process 重复数据删除是指在数据备份处理之后才进行重复数据删除，它的优势在

于我们无需担心由于重复数据处理使 CPU 负担加重而导致备份服务器和存储目标之

间出现瓶颈。

重复数据删除技术大致分为两个方向，一方面是数据备份领域，另一方面是基础

存储领域。从目前市场情况来看大部分应用主要还是在备份领域，重复数据删除技术

通过识别和消除数据环境中的冗余数据，从而大大减少需要保护的数据量，确保同样

的数据信息只被保存一次，这样不仅显著提高现有磁盘存储空间的有效容量，从而使

保护数据所需的物理磁盘数量更少，还有助于企业对数据的维护管理。这便可以帮助

企业减轻硬件投资和后期维护所带来的经济压力。

随着数字信息的爆炸式增长，所存在的重复数据越来越多，造成了存储资源的极

大浪费。重复数据消除技术的出现在很大程度上缓解了该问题，该技术也得到了越来

越广泛的认可。目前重复数据删除技术在工业上主要应用于三个方面：数据备份系统、

归档存储系统和远程灾备系统。为了满足用户的需求，备份设备已渐渐从传统的磁带

库过渡到磁盘设备，但是考虑到成本不可能为磁盘设备无限扩容，而随着数据量的不

断增加，所有备份的数据越来越多，面临容量膨胀的压力，重复数据删除技术的出现，

为最小化存储容量找到有效的方法。

由于参考数据的数量不断增长，而法规遵从要求数据在线保留的时间更长，并且

由于高性能需求需要采用磁盘进行归档，因此，企业一旦真正开始进行数据的归档存

储就面临成本问题，重复数据删除技术通过消除冗余实现高效率的归档存储，从而实

现最低的成本，目前，归档存储系统的重复数据删除技术主要是基于 Hash 的方法，

产品的销售理念是以内容寻址存储(CAS)技术为主，分为纯软件和存储系统两类。在

远程灾备系统中，需要将大量的数据迁移到异地的系统中，随着数据量的不断增长，

数据传输的压力越来越大，通过重复数据删除技术在数据传输前检测并删除重复的数

据，可以有效地减少传输的数据量，提高数据传输速度，例如飞康的 MicroScan 软件

就采用了该技术。

重复数据删除技术正在不断发展，因此，可以预计其应用也会不断拓展，用户将

在多种应用环境中可获得重复数据删除带来的成本效益，这些应用环境不仅只是包括

备份和归档，而且将覆盖其它存储应用、网络应用和桌面应用中。

1.4 课题的主要研究工作

本论文研究的主要内容有以下几个方面：

（1）重复数据删除技术的设计与实现。通过分析重复数据删除的一般流程，实

现了重复数据删除模块的基本功能，包括 LBA 映射表的管理、指纹计算以及指纹索

引表的建立与管理。

（2）重复数据删除中指纹检索优化设计与实现。指纹检索过程是重复数据删除

技术中的一大瓶颈，本系统通过基于 Bloom Filter 算法的检索过滤技术的实现，极大

的提高了指纹检索的性能。

本论文内容组织如下：

第一章对重复数据删除技术的相关背景知识做了简单的介绍，对课题研究的目的、

意义以及国内外研究发展状况做了简要的描述。

第二章详细介绍了重复数据删除系统的总体设计。首先阐述了重复数据删除技术

的基本原理和系统的总体设计框架，然后对各个功能模块分别进行介绍，包括 LBA

映射表、指纹计算模块和指纹检索模块。

第三章描述了重复数据删除系统的具体实现过程。首先分模块详述了各个模块的

实现方案，然后重点对检索优化算法部分的设计和实现进行了说明，最后分析了系统

的处理流程。

第四章对重复数据删除系统各方面的性能进行测试。

第五章总结目前所做的工作并展望未来的研究工作。

1.5 课题的来源

本课题受国家 973 重大基础研究计划 “高效能存储系统组建方法研究”（项目

剩余41页未读，继续阅读

智慧安全方案

粉丝: 3789
资源: 59万+

iSCSI基下重复数据删除系统设计与性能优化：压缩与检索效率提升

毕业论文基于iscsi的重复数据删除系统的设计与实现.doc

基于iscsi的重复数据删除系统的与实现.doc

重复数据删除方法研究-研究论文

iscsi-initiator-utils-6.2.0.874-4.el7.x86_64

iscsi-initiator-utils-devel-6.2.0.874-22.el7_9.x86_64: [errno 256] no more m

最新资源