没有合适的资源?快使用搜索试试~ 我知道了~
首页PBS系统项目实施经验
PBS系统项目实施经验
4星 · 超过85%的资源 需积分: 33 9 下载量 150 浏览量
更新于2023-03-16
评论
收藏 167KB DOC 举报
PBS infiniband卡 IBV IB PBS系统 LINUX LVM LINUX最大32GB内存限制 EMC存储 DELL M1000E刀箱 刀片服务器配置
资源详情
资源评论
资源推荐
PBS 系统项目实施文档
交流群:4385016
作者 QQ:31323832
注意在看此文档之前,请大家先记住整个 PBS 系统的开关
机顺序,错误的开关机顺序非常容易引起系统的瘫痪。开
机顺序:首先启动存储,存储启动完成后,然后启动 pbs-
b 然后启动 PBS-A 等以上两台机器启动完成后,在对 PBS-
C/PBS-D/PBS-E 进行开机。
关机顺序:首先关 PBS-C/PBS-D/PBS-E 然后关 PBS-A 再关
pbs-b 最后关闭存储。
将此文档送给各位朋友, HCA 卡的优势是可以在最高
40GB/S 的速率下运行,以后应该也是个趋势。
一.硬件安装:
............................................................................................................3
二.存储
LUN
的映射
..................................................................................................4
三.系统安装
................................................................................................................4
四.
YUM
服务器的搭建:
..........................................................................................4
1. 将 DVD 光盘挂载到/media/cdrom 中;......................................................................................4
2、修改系统配置文件.....................................................................................................................5
3、清除系统缓存.............................................................................................................................6
4、安装 LIBIBCM............................................................................................................................7
五.
IB
网卡的两种安装方式
.......................................................................................7
一.INIFINI 包的安装与配置............................................................................................7
1. RedHatEL5.3 中 InfiniBand 库文件列表.....................................................................................7
2. 常见 InfiniBand 网卡类型及所需驱动对应表...........................................................................8
3.启动 openibd 服务.........................................................................................................................9
4. 启动 openibd 服务.......................................................................................................................9
5. Openibd 服务状态示例...............................................................................................................9
6.启动 opensmd 服务........................................................................................................................9
7. Opensmd 服务状态示例.............................................................................................................10
8. Ifconfig 命令输出......................................................................................................................10
9. 使用 chkconfig 添加 openibd 服务............................................................................................10
10.配置 IPoIB 网络接口.................................................................................................................11
1. 接口配置文件示例................................................................................................................11
2. 重启接口设备示例.................................................................................................................11
二.OFED 安装方式.........................................................................................................12
一.如果你确认是 xen 版本想安装 infiniband 的驱动就必须升级内核,下面的内容是安装新
内核的步骤:.................................................................................................................................12
1. 将安装介质插入光驱,进入 Server 目录,安装 kernel-2.6.18-194 的软件包..................13
2. 编辑 /etc/grub.conf 文件,这时候应该有两个内核选项。将上面的 default 参数的值改
为新内核所在的位置。.............................................................................................................13
二、安装 RPM 包...........................................................................................................................13
1. yum install gcc.........................................................................................................................13
2. yum install glibc-devle............................................................................................................13
3.yum install glibc.......................................................................................................................13
三、接下来进行 OFED 的安装.....................................................................................................13
1.将 OFED 解压并复制到本地磁盘,然后将安装的文件设置权限......................................14
2.运行相应的 OFED 程序的安装脚本(执行之前先进入到 OFED 程序目录).......................14
3.安装完成后,先要重启服务器,然后对相应端口进行配置。..........................................14
4.接口配置文件示例..................................................................................................................14
5.重启接口设备示例.................................................................................................................15
6.修改/etc/security/limits.conf 文件,在末尾添加两行内容如下:....................................15
7.运行 OPENSMD 服务.............................................................................................................16
6.用以下命令进行测试,看 IB 相关的设置及状态信息...........................................................16
六.
REDHAT5.5
最大识别
32GB
内存解决方法
....................................................17
七.
M1000E
刀箱
CPU
超线程问题注意:
.............................................................18
八.
LINUX
系统的相关命令:
.................................................................................19
九.
InfinitiBAND
卡在高速数据运算环境配置须知
..............................................20
十.
LVM
管理
.............................................................................................................20
一.硬件安装:
............................................................................................................3
二.存储
LUN
的映射
..................................................................................................4
三.系统安装
................................................................................................................4
四.
YUM
服务器的搭建:
..........................................................................................4
1. 将 DVD 光盘挂载到/media/cdrom 中;......................................................................................4
2、修改系统配置文件.....................................................................................................................5
3、清除系统缓存.............................................................................................................................6
4、安装 LIBIBCM............................................................................................................................7
五.
IB
网卡的两种安装方式
.......................................................................................7
一.INIFINI 包的安装与配置............................................................................................7
1. RedHatEL5.3 中 InfiniBand 库文件列表.....................................................................................7
2. 常见 InfiniBand 网卡类型及所需驱动对应表...........................................................................8
3.启动 openibd 服务.........................................................................................................................9
4. 启动 openibd 服务.......................................................................................................................9
5. Openibd 服务状态示例...............................................................................................................9
6.启动 opensmd 服务........................................................................................................................9
7. Opensmd 服务状态示例.............................................................................................................10
8. Ifconfig 命令输出......................................................................................................................10
9. 使用 chkconfig 添加 openibd 服务............................................................................................10
10.配置 IPoIB 网络接口.................................................................................................................11
1. 接口配置文件示例................................................................................................................11
2. 重启接口设备示例.................................................................................................................11
二.OFED 安装方式.........................................................................................................12
一.如果你确认是 xen 版本想安装 infiniband 的驱动就必须升级内核,下面的内容是安装新
内核的步骤:.................................................................................................................................12
1. 将安装介质插入光驱,进入 Server 目录,安装 kernel-2.6.18-194 的软件包..................13
2. 编辑 /etc/grub.conf 文件,这时候应该有两个内核选项。将上面的 default 参数的值改
为新内核所在的位置。.............................................................................................................13
二、安装 RPM 包...........................................................................................................................13
1. yum install gcc.........................................................................................................................13
2. yum install glibc-devle............................................................................................................13
3.yum install glibc.......................................................................................................................13
三、接下来进行 OFED 的安装.....................................................................................................13
1.将 OFED 解压并复制到本地磁盘,然后将安装的文件设置权限......................................14
2.运行相应的 OFED 程序的安装脚本(执行之前先进入到 OFED 程序目录).......................14
3.安装完成后,先要重启服务器,然后对相应端口进行配置。..........................................14
4.接口配置文件示例..................................................................................................................14
5.重启接口设备示例.................................................................................................................15
6.修改/etc/security/limits.conf 文件,在末尾添加两行内容如下:....................................15
7.运行 OPENSMD 服务.............................................................................................................16
6.用以下命令进行测试,看 IB 相关的设置及状态信息...........................................................16
六.
REDHAT5.5
最大识别
32GB
内存解决方法
....................................................17
七.
M1000E
刀箱
CPU
超线程问题注意:
.............................................................18
八.
LINUX
系统的相关命令:
.................................................................................19
九.
InfinitiBAND
卡在高速数据运算环境配置须知
..............................................20
十.
LVM
管理
.............................................................................................................20
一.硬件安装:
整个 PBS 系统的硬件主要有:DELL1000E 刀箱、5 台刀片服务器(2 台 M610、3 台
M710)、 2 个以太网直通控制模块、2 个 HBA 直通控制模块、1 个 INFINIBAND 交换
模块。在此请注意直通模块跟交换模块的区别,直通模块相当于是机箱跟刀片服务器
的一个延长接口,在此模块中,所有的接口之间不能在物理上互通,而交换模块,刀
片服务器本身背板已经连接,而且模块本身可外接相应的设备,实现交换功能,相当
于传统的交换机。系统环境为 REDHAT LINUX5.5 版本。换言之下面的内容仅对 5.5 可
用(当然别的版本也都大同小异,只是相应的包名有可能不同)。
二.存储 LUN 的映射
在 EMC 存储新建 1.6T 的空间,映射到带 HBA 卡的机器
具体设置步骤请参考“EMC CLARiiON CX480 安装配置文档.pdf“(尤其值得注意的是
在 LINUX 系统中 HBA 卡在存储中最好重新注册一遍,否则很容易出现找不到服务器
的情况)。
三.系统安装
整个 PBS 系统共有 5 个刀片服务器,分别实现不同的功能。系统统一采用 REDHAT
LINUX 5.5 英文版。系统以默认的组件进行安装,在装完系统后分别开启了多个服务。
注意:
安装带 HBA 卡的机器的时候,默认 HBA 卡驱动已经安装,由于需要连接存储,需
要在系统中安装 EMC HOSTAGENT 软件和 POWERPATH 软件
安装带 HCA(INFINIBAND)卡的机器的时候,默认 LINUX 系统没有安装此设备的驱
动,所以需要我们手动安装 HCA 驱动程序。
HCA 的驱动程序已经在 REDHAT5.3 以后的版本集成,但默认不会安装(虽然系统已
经检测到了 HCA 卡),所以我们需要找到相应的安装包进行安装,由于在 LINUX 中
受各种依赖关系所限,驱动程序的 RPM 包直接安装将不会成功,需要我们搭建
LINUX 的 YUM 服务器进行安装。具体步骤如下:
四.YUM 服务器的搭建:
LINUX 系统中,在很多时候需要安装 RPM 包(在本项目中,我们主要用它安装
HCA 卡的驱动程序),但当要安装的时候都会出现很多依赖关系问题,使我们的安装
工作变的更加复杂,为了解决这种问题,我们采用在内部搭建 LINUX 的 YUM 服务器
系统,来安装软件,这样可以省去很多诸如此类的问题。
以下是实现 YUM 本地配置的具体步骤
1. 将 DVD 光盘挂载到/media/cdrom 中;
#mount /dev/cdrom /mnt/
其实在 RHEL5 中,当光盘放入光驱后,在/misc 中就会自动挂载 cd 的内容,但不会
显示,在 cd /misc 后就会显示 cd 的目录,然后再 cd /misc/cd 就会显示光盘的内
容。
2、修改系统配置文件
# vi /etc/yum.repos.d/rhel-debuginfo.repo
[rhel-debuginfo]
name=Red Hat Enterprise Linux $releasever - $basearch - Debug
baseurl=ftp://ftp.redhat.com/pub/redhat/linux/enterprise/$release
ver/en/os/$basearch/Debuginfo/
enabled=0
gpgcheck=1
gpgkey=!le:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
#将上面的红色部分改为下面的绿色字
--------------------------------------------------------------------------------------------------------
-----------------------------
baseurl=!le:///mnt/Server
enable=1
gpgcheck=0
--------------------------------------------------------------------------------------------------------
-----------------------------
或
baseurl=!le:///mnt/Server
enabled=1
gpgcheck=1
gpgkey=!le:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
剩余20页未读,继续阅读
king01299
- 粉丝: 1
- 资源: 62
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 2023年中国辣条食品行业创新及消费需求洞察报告.pptx
- 2023年半导体行业20强品牌.pptx
- 2023年全球电力行业评论.pptx
- 2023年全球网络安全现状-劳动力资源和网络运营的全球发展新态势.pptx
- 毕业设计-基于单片机的液体密度检测系统设计.doc
- 家用清扫机器人设计.doc
- 基于VB+数据库SQL的教师信息管理系统设计与实现 计算机专业设计范文模板参考资料.pdf
- 官塘驿林场林防火(资源监管)“空天地人”四位一体监测系统方案.doc
- 基于专利语义表征的技术预见方法及其应用.docx
- 浅谈电子商务的现状及发展趋势学习总结.doc
- 基于单片机的智能仓库温湿度控制系统 (2).pdf
- 基于SSM框架知识产权管理系统 (2).pdf
- 9年终工作总结新年计划PPT模板.pptx
- Hytera海能达CH04L01 说明书.pdf
- 数据中心运维操作标准及流程.pdf
- 报告模板 -成本分析与报告培训之三.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论1