MooseFS分布式文件系统详细搭建指南

需积分: 11 6 下载量 100 浏览量 更新于2024-07-17 收藏 812KB PDF 举报
MFS分布式文件系统搭建部署手册 MooseFS(MFS)是一款网络分布式文件系统,它将数据分散存放在多台服务器上,但对于用户来说,看到的只是一个源。MFS也像其他类unix文件系统一样,包含了层级结构(目录树),存储着文件属性(权限,最后访问和修改时间),可以创建特殊的文件(块设备,字符设备,管道,套接字),符号链接,硬链接。 **MFS的特征** 1. 层析结构(目录树):MFS具有层级结构,类似于unix文件系统,易于用户管理和组织文件。 2. 存储文件属性:MFS存储文件属性,如权限,最后访问和修改时间,帮助用户更好地管理文件。 3. 支持特殊文件:MFS支持创建特殊文件,如块设备,字符设备,管道,套接字等,满足不同应用场景的需求。 4. 符号链接,软硬链接:MFS支持符号链接和软硬链接,方便用户管理和访问文件。 5. 访问限制:MFS可以通过IP地址或者密码进行访问限制,确保文件系统的安全。 6. 高可靠:MFS具有高可靠性,数据的多个拷贝存储在不同的计算机上,确保文件系统的可靠性。 7. 动态拓展:MFS可以通过添加新的计算机或者硬盘来实现容量的动态拓展,满足不断增长的存储需求。 8. 删除文件保留:MFS可以根据一个可配置的时间周期来保留删除的文件,方便文件恢复。 9. 文件连贯快照:MFS支持文件连贯快照,不受访问和写入影响,方便文件管理。 **MFS应用场景** 1. 大规模高并发的数据存储及访问:MFS适合大规模高并发的数据存储及访问,例如小文件、大文件等。 2. 大规模的数据处理:MFS适合大规模的数据处理,例如日志分析等。 **MFS架构** MFS文件系统结构包括以下四种角色: 1. 管理服务器(Managing Server):负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复。 2. 元数据日志服务器(Metalogger Server):负责备份master服务器的变化日志文件,以便于在master server出问题的时候接替其进行工作。 MFS是一款功能强大且可靠的分布式文件系统,适合大规模高并发的数据存储及访问,数据处理等应用场景。
2010-05-04 上传
MFS特性(根据官方网站翻译) ★ 高可靠性(数据能被分成几个副本存储在不同的计算机里) ★ 通过增加计算机或增加新的硬盘动态扩充可用磁盘空间 ★ 可以设置删除文件的空间回收时间 [root@mysql-bk serydir]# mfsgettrashtime bind-9.4.0.tar.gz bind-9.4.0.tar.gz: 600 文件被删除10 分钟后(600 秒),才真正删除文件,回收磁盘空间。 ★ 为文件创建快照 MFS文件系统的组成 1、 元数据服务器。在整个体系中负责管理管理文件系统,目前MFS 只支持一个元数据服 务器master,这是一个单点故障,需要一个性能稳定的服务器来充当。希望今后MFS 能支持多个master 服务器,进一步提高系统的可靠性。 2、 元数据日志服务器。备份master 服务器的变化日志文件,文件类型为changelog_ml.*.mfs。 当元数据服务器数据丢失或者损毁,可从日志服务器取得文件进行恢复。 3、 数据存储服务器chunkserver。真正存储用户数据的服务器。存储文件时,首先把文件分 成块,然后这些块在数据服务器chunkserver 之间复制(复制份数可以手工指定,建议 设置副本数为3)。数据服务器可以是多个,并且数量越多,可使用的“磁盘空间”越大, 可靠性也越高。 4、 客户端。使用MFS 文件系统来存储和访问的主机称为MFS 的客户端,成功挂接MFS 文件系统以后,就可以像以前使用NFS 一样共享这个虚拟性的存储了。 元数据服务器安装和配置 元数据服务器可以是linux,也可以是unix,你可以根据自己的使用习惯选择操作系统,在我的 环境里,我是用freebsd 做为MFS 元数据的运行平台。GNU 源码,在各种类unix 平台的安装 都基本一致。 有两个pdf文档 mfs文件系统使用手册.pdf moosefs分布文件系统.pdf