没有合适的资源?快使用搜索试试~ 我知道了~
首页GlusterFS与Ceph 性能测试报告
GlusterFS与Ceph 性能测试报告
需积分: 43 87 下载量 84 浏览量
更新于2023-03-16
评论 3
收藏 1.2MB PDF 举报
GlusterFS与Ceph是不一样的存贮系统,GlusterFS更加针对分布式文件系统,虽然目前开发者也正在努力增加块与对象存贮服务。 由于两者在设计理念等各个方面有所不同,单纯的测试比较从功能应用的角度来说意义不大(如人们需要块及对象存贮时,目前GlusterFS只能部分提供或没有,块存贮也只能用于非生产环境,对象存贮还没有),但很多人使用时均会考虑将此两者文件服务作为其中一个重要应用,而同时,市场上流传着各类关于GlusterFS与Ceph对比的各类性能数据,实际情况倒底如可,我们不得而知,但我确实想知道真实的情况如何,或者大概的也行
资源详情
资源评论
资源推荐
信立讯科技技术白皮书
------------------------------------------------------------------------------------------------------------------------------------------------
1 成都信立讯科技有限公司
GlusterFS 与 Ceph 性能测试报告
-在相同网络、宿主机与存贮方式环境下文件读写性能比较测试
V3-版本改进:
确保 Gluster 的数据存贮虚拟机分布在不同的宿主机上;
GlusterFS 存贮服务器增加了 2 块磁盘;
Striped3+replica3 的 sr33 卷由各服务器的 vdb 构成;
volume+replica3 的 sr33 卷由各服务器的 vdc 构成;
Glusterfs 磁盘文件系统用 xfs;
给出了 GlusterFS 2 种存贮模式的读写数据报告;
增加了 GlusterFS 128K 时的读写数据报告
Iozone 命令加入 I 参数据,免去客户端本身内存与硬盘间数据缓存
对读写测试结果的影响,回避 V2 测试中 Ceph 出现的超过 1G 网
卡最高数据吞吐量的情形,这样可以真实地获得后端文件系统实
际的能力数据。当然正常使用时客户端访问后端文件系统时,客
户端本身的缓存仍会起作用。因此这个 directio 测试只为查验而使
用。
增加了利用 cp 命令从客户端直接向 GlusterFS,Ceph 复制文件的时
间比较
增加了利用 cp 命令从客户端直接向 GlusterFS,Ceph 复制大量小文
件的时间比较
成都信立讯科技有限公司
2014/3/10
信立讯科技技术白皮书
------------------------------------------------------------------------------------------------------------------------------------------------
2 成都信立讯科技有限公司
目录
GlusterFS 与 Ceph 性能测试报告 ............................................................................................. 1
前言 ..................................................................................................................................... 3
测试环境主机与网络背景说明 ........................................................................................ 3
测试环境说明..................................................................................................................... 4
Gluster 与 Ceph 在数据存贮模式的差异 .............................................................. 5
测试中采用的 Ceph 与 GlusterFS 的存贮模式 ........................................................ 6
Ceph 测试环境说明 ................................................................................................... 7
GlusterFS 测试环境说明 ............................................................................................ 9
测试工具与方法说明 ...................................................................................................... 12
测试工具 iozone 说明 .............................................................................................. 12
测试方法及影响说明 .............................................................................................. 13
GlusterFS 的二种测试模式及使用或不使用客户端缓存机制及数据 ......................... 14
GlusterFS 集群的测试 log-striped3+replica3-Cached ............................................. 14
GlusterFS 集群的测试 log-striped3+replica3-Non-Cached ..................................... 17
GlusterFS 集群的测试 log-volume+replica3-Cached .............................................. 19
GlusterFS 集群的测试数据整理 .............................................................................. 22
Ceph 集群读写测试 ........................................................................................................ 23
Ceph 集群的测试 log-Cached .................................................................................. 24
Ceph 集群的二次测试 log-Cached .......................................................................... 26
Ceph 集群的测试 log-Non-Cached .......................................................................... 28
Ceph 集群的测试数据整理-Cached ........................................................................ 29
大文件-正常操作直接文件复制时间比较 ..................................................................... 30
向 Gluster/Ceph 中写入文件操作记录 .................................................................. 31
从 Gluster/Ceph 中读出文件操作记录 .................................................................. 33
大文件操作数据整理 .............................................................................................. 35
小文件测试....................................................................................................................... 35
Gluster/Ceph 客户端运行在同一台虚拟机上 ....................................................... 35
生成小文件的脚本 .................................................................................................. 36
1024 个小文件的性能对比测试: ......................................................................... 36
5000 个小文件的性能对比测试: ......................................................................... 37
10000 个小文件的性能对比测试: ....................................................................... 37
小文件测试整理 ...................................................................................................... 38
测试小结 ........................................................................................................................... 39
V1,V2 版测试小结 .................................................................................................... 39
V3 版本下文件实操性能 ........................................................................................ 40
联系信息 ........................................................................................................................... 40
信立讯科技技术白皮书
------------------------------------------------------------------------------------------------------------------------------------------------
3 成都信立讯科技有限公司
前言
GlusterFS 与 Ceph 是不一样的存贮系统,GlusterFS 更加针对分布式文件系统,虽然目前开发
者也正在努力增加块与对象存贮服务。
由于两者在设计理念等各个方面有所不同,单纯的测试比较从功能应用的角度来说意义不大
(如人们需要块及对象存贮时,目前 GlusterFS 只能部分提供或没有,块存贮也只能用于非
生产环境,对象存贮还没有),但很多人使用时均会考虑将此两者文件服务作为其中一个重
要应用,而同时,市场上流传着各类关于 GlusterFS 与 Ceph 对比的各类性能数据,实际情况
倒底如可,我们不得而知,但我确实想知道真实的情况如何,或者大概的也行。
为此,我在同样的网络与硬件环境下,搭起了 2 套系统,使用了同样数量与配置的虚拟存贮
服务器构成集群,同时也采用了同样的后台数据存贮方式,即 ceph 与 GlusterFS 均采用条带
化与 3 份复本创建存贮池与卷,意即将需要存贮的文件完全切块并分散地存贮于不同的服务
器中(3 台主服务器,6 台副本服务器)。
由于宿主机、存贮服务器、网络与存贮模式基本相同,因此此测试报告给出的数据有参考价
值。另外,在测试中,并没有使用 Ceph 本身推荐的 brtf 文件系统,仍采用 xfs,但从 Inktank
的测试中表明,若使用 brtf, Ceph 集群的读写速度会至少增加 1 倍;相应地,GlusterFS 也是
以 xfs 作为存贮服务器外挂磁盘的文件系统。
Ceph 社区-关于 Ceph 使用 brtf、xfs、ext3 文件系统的读写性能比较:
http://ceph.com/community/ceph-bobtail-performance-io-scheduler-comparison/
关于 brtf 文件系统能否用于生产系统的文章(意思是可用),但目前不知谁在用:
http://www.oschina.net/news/46450/btrfs-stable
在于 brtf 文件系统的简要介绍:
http://www.oschina.net/p/btrfs
测试环境主机与网络背景说明
我们采用虚拟机的安装方式,在同一套环境中分别部署了 GlusterFS 与 Ceph 的虚拟机,结构
信立讯科技技术白皮书
------------------------------------------------------------------------------------------------------------------------------------------------
4 成都信立讯科技有限公司
图如下,每个宿主机 Intel 主板(双路 8 核),64G 内存,用 2 块 2T SATA2 硬盘(虚拟机都创
建在第一块硬盘上),4 块 1G 网卡(创建 4 个网桥,每台虚拟机 4 张网卡分别挂到不同的桥
上), GlusterFS 与 Ceph 的网络环境完全相同;宿主机操作系统为 Centos 6.4 64 位。
所有的 Ceph,GlusterFS 的存贮服务与客户端均是 2G 内存。
所有测试结节点网卡均用 ethtool 检验过,均是 1000M 速率连接,例:
[root@storage2 ~]# ethtool eth3
Settings for eth3:
Supported ports: [ TP ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Speed: 1000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
Auto-negotiation: on
MDI-X: Unknown
Supports Wake-on: pumbg
Wake-on: d
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
测试环境说明
信立讯科技技术白皮书
------------------------------------------------------------------------------------------------------------------------------------------------
5 成都信立讯科技有限公司
Gluster 与 Ceph 在数据存贮模式的差异
Ceph 的所有数据在存贮系统中均以切块保存(object), 每个文件对应系统的某个存贮池,
在创建存贮池时,可以指定该池文件需要保存的数量,比如我们创建一个 Test 池,此池所
有的文件保存三份:
ceph osd pool create test 128
ceph osd pool set test size 3
Ceph 存贮池中的文件映射到不同的 object 中,然后再放入不同的 PG 之中,而不同的 PG 又
分散存贮于存贮系统的所有服务器之中,增加或减少存贮服务器数量,系统会自动完成平衡,
不需要人为干预。当选择为 3 份副本后,允许的最大情况是,系统同时有 2 台服务器损坏时,
不会丢失数据。
GlusterFS 创建条带化(striped)存贮卷与数据存放三份的实现模式与 Ceph 略有不同。Redhat
的官方文档为:
https://access.redhat.com/site/documentation/en-US/Red_Hat_Storage/2.0/html/Administratio
n_Guide/sect-User_Guide-Setting_Volumes-Striped_Replicated.html
比如我们创建一个分散在 2 台服务器中、数据 2 份副本,允许损坏一台服务器而数据不丢失
的命令是:
# gluster volume create sr22 stripe 2 replica 2 transport tcp
server1:/exp2 server2:/exp4 server3:/exp2 server4:/exp4
意即数据存放到哪些服务器中由人工指定,而不是系统自动完成,这在大规模存贮系统中有
可能有点麻烦。
存贮的模式是,文件的第 1,3 块存贮于 server1 中,2,4 块存贮于 server2 中,因为数据需
要保留 2 份,因此还要有 2 台服务器用于与 server1, server2 完成镜像,如 server3, server4.
剩余39页未读,继续阅读
e06084
- 粉丝: 0
- 资源: 2
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 27页智慧街道信息化建设综合解决方案.pptx
- 计算机二级Ms-Office选择题汇总.doc
- 单链表的插入和删除实验报告 (2).docx
- 单链表的插入和删除实验报告.pdf
- 物联网智能终端项目设备管理方案.pdf
- 如何打造品牌的模式.doc
- 样式控制与页面布局.pdf
- 武汉理工Java实验报告(二).docx
- 2021线上新品消费趋势报告.pdf
- 第3章 Matlab中的矩阵及其运算.docx
- 基于Web的人力资源管理系统的必要性和可行性.doc
- 基于一阶倒立摆的matlab仿真实验.doc
- 速运公司物流管理模式研究教材
- 大数据与管理.pptx
- 单片机课程设计之步进电机.doc
- 大数据与数据挖掘.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0