HDFS shell 操作及 HDFS Java API 编程
一、实验目的：
1.熟悉 Hadoop 文件结构。
2.进行 HDFS shell 操作。
3.掌握通过 Hadoop Java API 对 HDFS 操作。
4.了解 Hadoop 文件操作原理。
二、实验内容
1.查看 HDFS 的 NameNode 和 DataNode 目录结构。
2.通过 HDFS shell 进行文件上传，目录创建等操作。
3.通过 Java API 进行文件增删查改操作。
三、实验步骤与调试过程
1.HDFS 的体系架构8
整个 Hadoop 的体系结构主要是通过 HDFS 来实现对分布式存储的
底层支持，并通过 MR 来实现对分布式并行任务处理的程序支持。8
HDFS 采用主从（Master/Slave）结构模型，一个 HDFS 集群是由一
个 NameNode 和若干个 DataNode 组成的（在最新的 Hadoop2.2 版本
已经实现多个 NameNode 的配置-这也是一些大公司通过修改 hadoop
源代码实现的功能，在最新的版本中就已经实现了）。NameNode
作为主服务器，管理文件系统命名空间和客户端对文件的访问操作。
DataNode 管理存储的数据。HDFS 支持文件形式的数据。8
从内部来看，文件被分成若干个数据块，这若干个数据块存放在一
组 DataNode 上。NameNode 执行文件系统的命名空间，如打开、关
剩余13页未读，继续阅读
big_data_lou
- 粉丝: 3
- 资源: 8
我的内容管理
收起
- 我的资源
快来上传第一个资源
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助
会员权益专享
最新资源
- 基于jsp的酒店管理系统源码数据库论文.doc
- 需求规格说明书1
- System32含义
- DataStage安装配置说明(window版本7 5x2)
- 网络数据通信的加密传输设计-毕业(设计)论文说明书.doc
- 5G核心网云化部署需求与关键技术白皮书.pdf
- 软件技术毕业设计论文-“脸萌”设计.doc
- 公用事业、煤炭、环保行业氢能与燃料电池产业前沿系列三：小小气瓶，大大学问-0709-光大证券-26页.pdf
- 张家界网站前端设计与实现毕业设计论文.pdf
- 食品饮料行业深度报告：茶饮好赛道，孕育新龙头-20210222-开源证券-34页.pdf
- 大数据时代城乡规划决策理念及应用途径.pptx
- “互联网”时代下智慧会展业发展研究.pptx
- 基于at89s52单片机的频率计设计.doc
- 基于JAVA-EE平台的项目管理系统.doc
- 巨尊旗舰店 (43).pptx
- teamcenter和企业配合使用实例以及二次开发方向ppt汇总
- 柔性接口铸铁管及管件生产线可行性分析报告书.doc
- 化工行业报及一季报综述：景气有所回落，新一轮扩产已经开始-0507-中银国际-30页.pdf
- 第五期《MindFormers套件之大模型》
- 基于单片机的电子密码锁设计(保险柜).doc
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0