没有合适的资源?快使用搜索试试~ 我知道了~
首页Hadoop RPC详解:透明调用与高效架构
Hadoop学习笔记第三部分深入探讨了Hadoop RPC机制的使用。RPC(Remote Procedure Call),中文称为远程过程调用,是分布式网络通信中常用的技术,它允许程序在不关心底层网络通信细节的情况下,远程调用另一台计算机上的子程序,提供了透明性和高性能的服务。在Hadoop中,所有进程间的交互,如Namenode与Datanode、Jobtracker与Tasktracker,都依赖于RPC。 Hadoop RPC的特点包括: 1. 透明性:客户端像调用本地方法一样调用远程服务,简化了开发者的工作。 2. 高性能:RPC Server支持并发处理多个请求,提高了效率。 3. 控制性:尽管Java自带的RMI框架存在一些局限性,Hadoop选择自定义RPC框架以提供更轻量级且灵活的控制。 Hadoop RPC的基本流程包括客户端发起请求、服务器处理并返回结果的过程,遵循C/S架构。其工作原理涉及到序列化层(使用Hadoop提供的序列化类或自定义Writable类型)、函数调用层(通过动态代理和java反射实现)、网络传输层(基于TCP/IP的Socket机制)以及服务器端框架层(利用Java NIO和事件驱动的I/O模型提升并发处理能力)。 在实际应用中,Hadoop RPC在HDFS操作中起着关键作用,比如读写文件、创建目录等,都是通过RPC机制在Client和Server之间进行。理解并掌握Hadoop RPC对于构建高效、可扩展的分布式系统至关重要。通过学习和实践RPC机制,开发者可以更好地设计和优化Hadoop集群的性能。
资源详情
资源推荐
Hadoop学习笔记学习笔记—3.HadoopRPC机制的使用机制的使用
一、RPC基础概念
1.1 RPC的基础概念
RPC,即Remote Procdure Call,中文名:远程过程调用;
(1)它允许一台计算机程序远程调用另外一台计算机的子程序,而不用去关心底层的网络通信细节,对我们来说是透明的。
因此,它经常用于分布式网络通信中。
RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传
输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。
(2)Hadoop的进程间交互都是通过RPC来进行的,比如Namenode与Datanode直接,Jobtracker与Tasktracker之间等。
因此,可以说:Hadoop的运行就是建立在RPC基础之上的。
1.2 RPC的显著特点
(1)透明性:远程调用其他机器上的程序,对用户来说就像是调用本地方法一样;
(2)高性能:RPC Server能够并发处理多个来自Client的请求;
(3)可控性:jdk中已经提供了一个RPC框架—RMI,但是该PRC框架过于重量级并且可控之处比较少,所以Hadoop RPC实
现了自定义的PRC框架。
1.3 RPC的基本流程
(1)RPC采用了C/S的模式;
(2)Client端发送一个带有参数的请求信息到Server;
(3)Server接收到这个请求以后,根据发送过来的参数调用相应的程序,然后把自己计算好的结果发送给Client端;
(4)Client端接收到结果后继续运行;
1.4 Hadoop中的RPC机制
同其他RPC框架一样,Hadoop RPC分为四个部分:
(1)序列化层:Clent与Server端通信传递的信息采用了Hadoop里提供的序列化类或自定义的Writable类型;
(2)函数调用层:Hadoop RPC通过动态代理以及java反射实现函数调用;
下载后可阅读完整内容,剩余3页未读,立即下载
weixin_38689824
- 粉丝: 6
- 资源: 946
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 十种常见电感线圈电感量计算公式详解
- 军用车辆:CAN总线的集成与优势
- CAN总线在汽车智能换档系统中的作用与实现
- CAN总线数据超载问题及解决策略
- 汽车车身系统CAN总线设计与应用
- SAP企业需求深度剖析:财务会计与供应链的关键流程与改进策略
- CAN总线在发动机电控系统中的通信设计实践
- Spring与iBATIS整合:快速开发与比较分析
- CAN总线驱动的整车管理系统硬件设计详解
- CAN总线通讯智能节点设计与实现
- DSP实现电动汽车CAN总线通讯技术
- CAN协议网关设计:自动位速率检测与互连
- Xcode免证书调试iPad程序开发指南
- 分布式数据库查询优化算法探讨
- Win7安装VC++6.0完全指南:解决兼容性与Office冲突
- MFC实现学生信息管理系统:登录与数据库操作
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功