CDH集群升级Spark2.x详细步骤
"CHD升级到Spark2.X的文档提供了详细的升级步骤,包括所需软件、安装注意事项、操作命令以及测试验证方法。文档适用于CDH环境,强调了正确选择和匹配软件包版本的重要性,特别是CSD和Parcel包的版本一致性。" 在CDH环境下升级到Spark2.X时,首要任务是确保所有必要的软件准备就绪。这里提到了两个关键的软件包源:CSD(Cloudera Service Descriptor)包和Parcel包。CSD包是定义服务在CM(Cloudera Manager)中的行为和配置的组件,而Parcel是CDH分发的一种机制,包含服务的实际可执行文件。文档指出,需要JDK1.8作为运行环境。 在下载软件包时,必须注意与操作系统版本的兼容性。例如,对于CentOS7,应选择el7的包,而对于CentOS6,则应选择el6的包。同时,针对Spark2.1,应当下载相应的.csdl1和.parcell1的包,如果计划安装其他版本(如2.0),则需要确保CSD和Parcel包版本匹配,不能混用不同版本的包,否则可能导致安装失败。 安装流程包括以下几个步骤: 1. 可选地,可以暂停集群和Cloudera Management Service (CMS)。即使不停止,后续也会需要重启。 2. 在集群的所有CDH节点上执行相同的操作。 3. 将CSD包上传至/opt/cloudera/csd目录,并更改文件的所有者和组。如果该目录下已有其他jar包,需要删除或移动。 4. 使用`chgrp`和`chown`命令将CSD包的权限更改为cloudera-scm用户和组。 这个过程仅仅是开始,后续还需要通过Cloudera Manager进行服务配置、依赖处理、启动和验证等步骤。安装完成后,需要对Spark2服务进行测试,以确保新版本能正常工作,例如运行简单的Spark作业来检查服务的可用性和性能。 总结来说,CDH升级Spark2.X是一个涉及多个阶段的过程,包括软件包的正确选择、版本匹配、安全传输和权限设置,以及最后的服务验证。确保每个步骤的准确执行是成功升级的关键,同时也要密切关注CDH和Spark的官方文档以获取最新信息和最佳实践。
下载后可阅读完整内容,剩余4页未读,立即下载
- 粉丝: 4
- 资源: 10
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- C++标准程序库:权威指南
- Java解惑:奇数判断误区与改进方法
- C++编程必读:20种设计模式详解与实战
- LM3S8962微控制器数据手册
- 51单片机C语言实战教程:从入门到精通
- Spring3.0权威指南:JavaEE6实战
- Win32多线程程序设计详解
- Lucene2.9.1开发全攻略:从环境配置到索引创建
- 内存虚拟硬盘技术:提升电脑速度的秘密武器
- Java操作数据库:保存与显示图片到数据库及页面
- ISO14001:2004环境管理体系要求详解
- ShopExV4.8二次开发详解
- 企业形象与产品推广一站式网站建设技术方案揭秘
- Shopex二次开发:触发器与控制器重定向技术详解
- FPGA开发实战指南:创新设计与进阶技巧
- ShopExV4.8二次开发入门:解决升级问题与功能扩展