华为FusionStorage8.0对象存储技术白皮书_DHT环

FusionStorage

需积分: 0 330 浏览量更新于2023-05-26 评论 1 收藏 5.47MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

华为 FusionStorage 技术白皮书

文档版本

1.3

发布日期

2018-12

华为技术有限公司

华为 FusionStorage 技术白皮书

2019-04-08

华为专有和保密信息

iii

1 概述 ............................................................................................................................................ 7

2 产品价值 .................................................................................................................................... 9

3 产品架构 .................................................................................................................................. 11

3.1 软件架构 ................................................................................................................................................ 11

3.2 数据服务 ................................................................................................................................................14

3.2.1 块存储 ...........................................................................................................................................14

3.2.1.1 架构概述 ...............................................................................................................................14

3.2.1.2 关键业务流程 .......................................................................................................................16

3.2.1.3 特性介绍 ...............................................................................................................................20

3.2.2 对象存储........................................................................................................................................32

3.2.2.1 架构概述 ...............................................................................................................................32

3.2.2.2 关键业务流程 .......................................................................................................................35

3.2.2.3 特性介绍 ...............................................................................................................................37

3.2.3 文件存储........................................................................................................................................43

3.2.3.1 架构概述 ...............................................................................................................................43

3.2.3.2 关键业务流程 .......................................................................................................................45

3.2.3.3 特性介绍 ...............................................................................................................................46

3.3 存储管理 ................................................................................................................................................62

3.3.1 存储服务化 ....................................................................................................................................62

3.3.1.4 块存储服务化 .......................................................................................................................62

3.3.1.5 对象存储服务 .......................................................................................................................63

3.3.1.6 文件存储服务化 ...................................................................................................................64

3.3.2 存储集群管理 ................................................................................................................................65

3.3.2.7 块存储集群管理 ...................................................................................................................65

3.3.2.8 对象存储集群管理................................................................................................................65

3.3.2.9 文件存储集群管理................................................................................................................66

3.4 推荐硬件 ................................................................................................................................................66

3.5 系统组网 ................................................................................................................................................68

3.5.1 块存储组网 ....................................................................................................................................68

3.5.1.1 以太网组网方案 ...................................................................................................................69

华为 FusionStorage 技术白皮书

2019-04-08

华为专有和保密信息

3.5.1.2 RoCE 组网方案 .....................................................................................................................71

3.5.1.3 InfiniBand 组网方案 ..............................................................................................................74

3.5.2 对象存储组网 ................................................................................................................................77

3.5.2.1 以太网组网方案 ...................................................................................................................78

3.5.2.2 InfiniBand 组网方案 ..............................................................................................................81

3.5.3 文件存储组网 ................................................................................................................................83

3.5.3.1 以太网组网方案 ...................................................................................................................84

3.5.3.2 InfiniBand 组网方案 ..............................................................................................................85

4 弹性扩展 .................................................................................................................................. 87

4.1 块存储扩展性 .........................................................................................................................................87

4.1.1 平滑扩容........................................................................................................................................88

4.1.2 性能扩展........................................................................................................................................88

4.2 对象存储和文件存储扩展性 ..................................................................................................................90

5 高性能 ...................................................................................................................................... 91

5.1 块存储性能关键技术 .............................................................................................................................91

5.1.1 分布式 I/O 环 .................................................................................................................................91

5.1.2 分布式 SSD Cache 加速.................................................................................................................92

5.1.2.1 Write Cache ............................................................................................................................93

5.1.2.2 Read Cache .............................................................................................................................93

5.1.2.3 大块 Pass Throught ................................................................................................................94

5.1.2.4 动态 Cache 调整 ...................................................................................................................95

5.1.3 FusionStorage 块存储相对于传统 SAN 的性能优势 ......................................................................96

5.1.3.5 更高的性能 ...........................................................................................................................96

5.1.3.6 线性 Scale-up、Scale-out ......................................................................................................96

5.1.3.7 大池 POOL，易于管理和规划 .............................................................................................97

5.1.3.8 SSD Cache 与 SSD Tier ..........................................................................................................98

5.1.3.9 更加符合多业务混合应用场景 ........................................................................................... 100

5.2 对象存储性能关键技术 ........................................................................................................................ 100

5.2.1 数据结构扁平，利于高扩展 ....................................................................................................... 100

5.2.2 元数据散列，不存在瓶颈 ........................................................................................................... 100

5.2.3 无状态集群，消除系统访问瓶颈 ................................................................................................ 100

5.3 文件存储性能关键技术 ........................................................................................................................ 102

5.3.1 智能预取技术 .............................................................................................................................. 102

5.3.2 协议增强技术 .............................................................................................................................. 102

5.3.2.10 MAC 系统下 NFS 协议增强技术 ...................................................................................... 103

5.3.2.11 Windows 系统下 CIFS 协议增强技术 ................................................................................ 105

6 系统安全 ................................................................................................................................ 107

6.1 系统安全威胁 ....................................................................................................................................... 107

华为 FusionStorage 技术白皮书

2019-04-08

华为专有和保密信息

6.2 存储安全威胁 ....................................................................................................................................... 108

6.3 总体安全框架 ....................................................................................................................................... 109

6.4 设备安全 .............................................................................................................................................. 109

6.4.1 操作系统加固 .............................................................................................................................. 109

6.4.2 安全补丁...................................................................................................................................... 110

6.4.3 Web 安全 ...................................................................................................................................... 110

6.5 网络安全 .............................................................................................................................................. 110

6.5.1 平面隔离...................................................................................................................................... 110

6.5.2 安全传输通道 .............................................................................................................................. 112

6.6 业务安全 .............................................................................................................................................. 112

6.6.1 访问控制...................................................................................................................................... 112

6.6.2 认证和鉴权 .................................................................................................................................. 112

6.6.3 文件存储防病毒 .......................................................................................................................... 112

6.7 管理安全 .............................................................................................................................................. 113

6.7.1 用户安全...................................................................................................................................... 113

6.7.2 密码安全...................................................................................................................................... 113

6.7.3 鉴权认证...................................................................................................................................... 113

6.7.4 日志和告警管理 .......................................................................................................................... 113

7 数据可靠性 ............................................................................................................................ 114

7.1 集群可靠性 ........................................................................................................................................... 114

7.1.1 块存储集群可靠性 ...................................................................................................................... 114

7.1.2 对象存储集群可靠性 ................................................................................................................... 114

7.1.3 文件存储集群可靠性 ................................................................................................................... 116

7.2 对象存储和文件存储数据冗余保护机制 ............................................................................................. 117

7.2.1 数据条带化 .................................................................................................................................. 117

7.2.2 集群级对象存储系统 ................................................................................................................... 117

7.2.3 N+M 数据保护 ............................................................................................................................. 118

7.3 块存储数据冗余保护机制 .................................................................................................................... 120

7.3.1 多副本 ......................................................................................................................................... 120

7.3.2 Erasure Code ................................................................................................................................. 120

7.4 数据一致性 ........................................................................................................................................... 121

7.5 快速数据重建 ....................................................................................................................................... 122

7.6 硬件可靠性 ........................................................................................................................................... 123

7.7 链路可靠性 ........................................................................................................................................... 123

8 开放兼容性 ............................................................................................................................ 124

8.1 与大数据平台的兼容 ........................................................................................................................... 124

8.2 与云平台的兼容 ................................................................................................................................... 125

8.3 与虚拟化平台的兼容 ........................................................................................................................... 126

8.3.1 XEN 和 KVM 虚拟化 ................................................................................................................... 126