分布式存储架构分析与 Memcached 实现机理

分布式

4星 · 超过85%的资源需积分: 49 192 浏览量更新于2024-07-18 收藏 1.42MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

分布式存储架构分析分布式存储是指将数据分布式地存储在多个服务器或节点上，以提高存储系统的可扩展性、可靠性和性能。分布式存储架构分析是指对分布式存储系统的设计、实现和优化的分析和研究。分布式存储架构分析的重要性在于，随着数据量的增加和业务的发展，传统的集中式存储系统无法满足业务的需求，分布式存储架构就成为了解决这些问题的关键。分布式存储架构分析的目的是为了设计和实现一个高效、可靠和可扩展的分布式存储系统，以满足业务的需求。分布式存储架构分析的内容包括： 1. 分布式存储系统的设计和实现：包括分布式存储系统的架构设计、数据分布式算法、数据存储格式、数据访问接口等。 2. 分布式存储系统的性能优化：包括分布式存储系统的性能瓶颈分析、缓存机制、数据预取机制、负载均衡机制等。 3. 分布式存储系统的可靠性和可扩展性分析：包括分布式存储系统的故障恢复机制、数据备份和恢复机制、可扩展性设计等。 Memcached 是一种高性能的分布式内存缓存服务器，通常用于缓存数据库查询结果，以减少数据库访问次数，提高动态 Web 应用程序的速度和可扩展性。 Memcached 的架构设计： 1. Memcached 的实现结构：Memcached 的实现结构是基于单进程、单线程、异步 I/O、事件驱动的设计，使用 libevent 库来处理文件描述符，实现高性能和高可扩展性的缓存系统。 2. Memcached 的缓存机制：Memcached 使用的是一种基于 Hash 表的缓存机制，通过使用 slab allocation 机制来分配缓存空间，提高缓存命中率和缓存性能。 3. Memcached 的数据存储格式：Memcached 使用的是一种基于文本的数据存储格式，通过使用协议来定义数据的存储格式和访问接口。 Memcached 的优点： 1. 高性能：Memcached 的设计目标是提供高性能的缓存系统，能够满足高并发和高性能的需求。 2. 高可扩展性：Memcached 的设计目标是提供高可扩展性的缓存系统，能够满足业务的发展和扩展需求。 3. 可靠性：Memcached 的设计目标是提供可靠性的缓存系统，能够满足业务的可靠性和高可用性需求。 Memcached 的应用场景： 1. 动态 Web 应用程序：Memcached 可以用于缓存动态 Web 应用程序的数据，提高应用程序的速度和可扩展性。 2. 数据库查询结果缓存：Memcached 可以用于缓存数据库查询结果，减少数据库访问次数，提高应用程序的速度和可扩展性。 3. 云计算和大数据应用：Memcached 可以用于云计算和大数据应用，提供高性能和高可扩展性的缓存系统。分布式存储架构分析是指对分布式存储系统的设计、实现和优化的分析和研究，Memcached 是一种高性能的分布式内存缓存服务器，广泛应用于动态 Web 应用程序、数据库查询结果缓存、云计算和大数据应用等领域。

资源详情

资源推荐

龙兴平 (MSN: lxp8@sina.com) 第 14 页共 83 页 2010-4-27

最大软连接

settings.chunk_size（=48）

一个保守估计的 key+value 长度，用来生成 id1 中的 chunk 长度（1.2）。 id1 的 chunk 长度等

于这个数值加上 item 结构体的长度（32），即默认的 80 字节。

常量 POWER_SMALLEST 1

最小 classid（1.2）

常量 POWER_LARGEST 200

最大 classid（1.2）

常量 POWER_BLOCK 1048576

默认 slab 大小

常量 CHUNK_ALIGN_BYTES (sizeof(void *))

保证 chunk 大小是这个数值的整数倍，防止越界（void *的长度在不同系统上不一样，在标

准 32 位系统上是 4）

常量 ITEM_UPDATE_INTERVAL 60

队列刷新间隔

常量 LARGEST_ID 255

最大 item 链表数（这个值不能比最大的 classid 小）

变量 hashpower（在 1.1 中是常量 HASHPOWER）

决定 hashtable 的大小

根据上面介绍的内容及参数设定，可以计算出的一些结果：

1、在 memcached 中可以保存的 item 个数是没有软件上限的，之前我的 100 万的说法是错

误的。

2、假设 NewHash 算法碰撞均匀，查找 item 的循环次数是 item 总数除以 hashtable 大小（由

hashpower 决定），是线性的。

3、Memcached 限制了可以接受的最大 item 是 1MB，大于 1MB 的数据不予理会。

4、Memcached 的空间利用率和数据特性有很大的关系，又与 DONT_PREALLOC_SLABS

常量有关。在最差情况下，有 198 个 slab 会被浪费（所有 item 都集中在一个 slab 中，199

个 id 全部分配满）。

◎Memcached 的定长优化

根据上面几节的描述，多少对 memcached 有了一个比较深入的认识。在深入认识的基础上

才好对它进行优化。

龙兴平 (MSN: lxp8@sina.com) 第 15 页共 83 页 2010-4-27

Memcached 本身是为变长数据设计的，根据数据特性，可以说它是“面向大众”的设计，

但是很多时候，我们的数据并不是这样的“普遍”，典型的情况中，一种是非均匀分布，即

数据长度集中在几个区域内（如保存用户 Session）；另一种更极端的状态是等长数据（如

定长键值，定长数据，多见于访问、在线统计或执行锁）。

这里主要研究一下定长数据的优化方案（1.2），集中分布的变长数据仅供参考，实现起来也

很容易。

解决定长数据，首先需要解决的是 slab 的分配问题，第一个需要确认的是我们不需要那么

多不同 chunk 长度的 slab，为了最大限度地利用资源，最好 chunk 和 item 等长，所以首先

要计算 item 长度。

在之前已经有了计算 item 长度的算法，需要注意的是，除了字符串长度外，还要加上 item

结构的长度 32 字节。

假设我们已经计算出需要保存 200 字节的等长数据。

接下来是要修改 slab 的 classid 和 chunk 长度的关系。在原始版本中，chunk 长度和 classid

是有对应关系的，现在如果把所有的 chunk 都定为 200 个字节，那么这个关系就不存在了，

我们需要重新确定这二者的关系。一种方法是，整个存储结构只使用一个固定的 id，即只

使用 199 个槽中的 1 个，在这种条件下，就一定要定义 DONT_PREALLOC_SLABS 来避免

另外的预分配浪费。另一种方法是建立一个 hash 关系，来从 item 确定 classid，不能使用长

度来做键，可以使用 key 的 NewHash 结果等不定数据，或者直接根据 key 来做 hash（定长

数据的 key 也一定等长）。这里简单起见，选择第一种方法，这种方法的不足之处在于只使

用一个 id，在数据量非常大的情况下，slab 链会很长（因为所有数据都挤在一条链上了），

遍历起来的代价比较高。

前面介绍了三种空间冗余，设置 chunk 长度等于 item 长度，解决了第一种空间浪费问题，

不预申请空间解决了第二种空间浪费问题，那么对于第一种问题（slab 内剩余）如何解决呢，

这就需要修改 POWER_BLOCK 常量，使得每一个 slab 大小正好等于 chunk 长度的整数倍，

这样一个 slab 就可以正好划分成 n 个 chunk。这个数值应该比较接近 1MB，过大的话同样

会造成冗余，过小的话会造成次数过多的 alloc，根据 chunk 长度为 200，选择 1000000 作为

POWER_BLOCK 的值，这样一个 slab 就是 100 万字节，不是 1048576。三个冗余问题都解

决了，空间利用率会大大提升。

修改 slabs_clsid 函数，让它直接返回一个定值（比如 1 ）：

CODE:

unsigned int slabs_clsid(size_t size) {

return 1;

}

修改 slabs_init 函数，去掉循环创建所有 classid 属性的部分，直接添加 slabclass[1]：

CODE:

龙兴平 (MSN: lxp8@sina.com) 第 16 页共 83 页 2010-4-27

slabclass[1].size = 200; //每 chunk200 字节

slabclass[1].perslab = 5000; //1000000/200

◎Memcached 客户端

Memcached 是一个服务程序，使用的时候可以根据它的协议，连接到 memcached 服务器上，

发送命令给服务进程，就可以操作上面的数据。为了方便使用，memcached 有很多个客户

端程序可以使用，对应于各种语言，有各种语言的客户端。基于 C 语言的有 libmemcache、

APR_Memcache；基于 Perl 的有 Cache::Memcached；另外还有 Python、Ruby、Java、C#等

语言的支持。PHP 的客户端是最多的，不光有 mcache 和 PECL memcache 两个扩展，还有

大把的由 PHP 编写的封装类，下面介绍一下在 PHP 中使用 memcached 的方法：

mcache 扩展是基于 libmemcache 再封装的。libmemcache 一直没有发布 stable 版本，目前版

本是 1.4.0-rc2，可以在这里找到。libmemcache 有一个很不好的特性，就是会向 stderr 写很

多错误信息，一般的，作为 lib 使用的时候，stderr 一般都会被定向到其它地方，比如 Apache

的错误日志，而且 libmemcache 会自杀，可能会导致异常，不过它的性能还是很好的。

mcache 扩展最后更新到 1.2.0-beta10，作者大概是离职了，不光停止更新，连网站也打不开

了（~_~），只能到其它地方去获取这个不负责的扩展了。解压后安装方法如常：phpize &

configure & make & make install，一定要先安装 libmemcache。使用这个扩展很简单：

CODE:

<?php

$mc = memcache(); // 创建一个 memcache 连接对象，注意这里不是用 new！

$mc->add_server(‘localhost’, 11211); // 添加一个服务进程

$mc->add_server(‘localhost’, 11212); // 添加第二个服务进程

$mc->set(‘key1′, ‘Hello’); // 写入 key1 => Hello

$mc->set(‘key2′, ‘World’, 10); // 写入 key2 => World，10 秒过期

$mc->set(‘arr1′, array(‘Hello’, ‘World’)); // 写入一个数组

$key1 = $mc->get(‘key1′); // 获取’key1′的值，赋给$key1

$key2 = $mc->get(‘key2′); // 获取’key2′的值，赋给$key2，如果超过 10 秒，就取

不到了

$arr1 = $mc->get(‘arr1′); // 获取’arr1′数组

$mc->delete(‘arr1′); // 删除’arr1′

$mc->flush_all(); // 删掉所有数据

$stats = $mc->stats(); // 获取服务器信息

var_dump($stats); // 服务器信息是一个数组

这个扩展的好处是可以很方便地实现分布式存储和负载均衡，因为它可以添加多个服务地

址，数据在保存的时候是会根据 hash 结果定位到某台服务器上的，这也是 libmemcache 的

特性。libmemcache 支持集中 hash 方式，包括 CRC32、ELF 和 Perl hash。

PECL memcache 是 PECL 发布的扩展，目前最新版本是 2.1.0，可以在 pecl 网站得到。

memcache 扩展的使用方法可以在新一些的 PHP 手册中找到，它和 mcache 很像，真的很像：

龙兴平 (MSN: lxp8@sina.com) 第 17 页共 83 页 2010-4-27

CODE:

<?php

$memcache = new Memcache;

$memcache->connect(‘localhost’, 11211) or die (“Could not connect”);

$version = $memcache->getVersion();

echo “Server’s version: ”.$version.“n”;

$tmp_object = new stdClass;

$tmp_object->str_attr = ‘test’;

$tmp_object->int_attr = 123;

$memcache->set(‘key’, $tmp_object, false, 10) or die (“Failed to save data at the server”);

echo “Store data in the cache (data will expire in 10 seconds)n”;

$get_result = $memcache->get(‘key’);

echo “Data from the cache:n”;

var_dump($get_result);

这个扩展是使用 php 的 stream 直接连接 memcached 服务器并通过 socket 发送命令的。它不

像 libmemcache 那样完善，也不支持 add_server 这种分布操作，但是因为它不依赖其它的外

界程序，兼容性要好一些，也比较稳定。至于效率，差别不是很大。

另外，有很多的 PHP class 可以使用，比如 MemcacheClient.inc.php，phpclasses.org 上可以找

到很多，一般都是对 perl client API 的再封装，使用方式很像。

◎BSM_Memcache

从 C client 来说，APR_Memcache 是一个很成熟很稳定的 client 程序，支持线程锁和原子级

操作，保证运行的稳定性。不过它是基于 APR 的（ APR 将在最后一节介绍），没有 libmemcache

的应用范围广，目前也没有很多基于它开发的程序，现有的多是一些 Apache Module，因为

它不能脱离 APR 环境运行。但是 APR 倒是可以脱离 Apache 单独安装的，在 APR 网站上可

以下载 APR 和 APR-util，不需要有 Apache，可以直接安装，而且它是跨平台的。

BSM_Memcache 是我在 BS.Magic 项目中开发的一个基于 APR_Memcache 的 PHP 扩展，说

起来有点拗口，至少它把 APR 扯进了 PHP 扩展中。这个程序很简单，也没做太多的功能，

只是一种形式的尝试，它支持服务器分组。

和 mcache 扩展支持多服务器分布存储不同，BSM_Memcache 支持多组服务器，每一组内的

服务器还是按照 hash 方式来分布保存数据，但是两个组中保存的数据是一样的，也就是实

现了热备，它不会因为一台服务器发生单点故障导致数据无法获取，除非所有的服务器组

剩余82页未读，继续阅读

weixin_42659883

粉丝: 1
资源: 9

分布式存储架构分析与 Memcached 实现机理

分布式架构

分布式存储－ceph

分布式存储介绍

Ceph分布式存储实战指南

分布式存储元数据设计探讨

分布式存储系统：异常与容错详解

分布式存储架构：数据库与技术解析

分布式存储模型探究

Ceph分布式存储系统简介

Ceph：分布式存储简介

分布式存储介绍：理解分布式存储的原理与架构

分布式存储系统架构漫谈

深信服分布式存储系统与开源ceph分布式存储系统有什么区别

深信服超融合分布式存储与深信服EDS分布式存储有什么区别除了部署方式和应用场景

深信服超融合分布式存储与深信服EDS分布式存储有什么区别

分布式存储系统习题csdn

zookeeper实现分布式存储

衫岩分布式存储市场占有率

分布式存储 应用场景

最新资源

分布式存储应用场景