Hadoop2.5教程:新特性、安装与Eclipse插件

需积分: 10 5 下载量 133 浏览量 更新于2024-07-22 收藏 450KB PDF 举报
"Hadoop2.5汇总:新特性、安装包、Eclipse插件、集群安装" 在Hadoop2.5版本中,该资源主要涵盖了以下几个关键知识点: 1. **新特性**: Hadoop2.5是一个重要的更新,包含了多项新功能和改进。虽然具体的新特性没有详细列出,但通常在这样的版本升级中,Hadoop会优化性能,增强稳定性,增加新的API和工具,以及改善资源管理和调度机制。例如,YARN(Yet Another Resource Negotiator)可能会有进一步的优化,以提高集群资源利用率和应用程序的并发处理能力。 2. **安装包**: 提供了针对32位和64位操作系统的Linux安装包,如`hadoop-2.5.0-linux64-aboutyun.tar.gz`和`hadoop-2.5.0-Linux32-aboutyun.tar.gz`。这些预编译的二进制包简化了用户的安装流程,只需解压并配置环境变量即可运行Hadoop。 3. **编译Hadoop**: 编译Hadoop源码可能遇到一些问题,如权限错误。在Ubuntu环境下,若出现类似`No such file or directory`的错误,可能是因为缺少对源代码目录的适当权限。解决方法是使用`sudo chown -R 用户名:用户组名 hadoop-2.5.0-src`命令来更改文件所有权。编译成功后,可以得到编译后的安装包。 4. **Eclipse插件**: 对于开发人员,Eclipse插件`hadoop-eclipse-plugin-2.5.0`是至关重要的,它允许在Eclipse集成开发环境中直接管理Hadoop项目,包括创建、调试和运行MapReduce作业。提供了一个适用于Windows7和Eclipse3.9.1的插件版本,可以通过分享的百度网盘链接下载。 5. **集群安装**: 安装Hadoop集群通常涉及多台机器的配置,包括HDFS和YARN的配置,数据节点和名称节点的设置,以及MapReduce作业调度器的配置。集群安装的详细步骤可能包括安装Java环境,配置SSH无密码登录,分发Hadoop安装包到所有节点,配置Hadoop配置文件(如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`等),启动Hadoop服务,并进行基本的健康检查。 6. **寻找API**: 开发人员通常需要查阅Hadoop的官方文档或在线资源来了解和使用API。对于Hadoop2.5,API文档可能可以在Apache Hadoop的官方网站找到,这些文档详细解释了如何使用Hadoop提供的各种接口和类。 7. **获取Hadoop源码**: 要获取Hadoop源码,开发者通常会从Apache的Git仓库克隆,或者直接下载源码压缩包。对于Hadoop2.5,可以从其官方发布页面下载。 通过学习和实践这些内容,开发者和系统管理员能够更好地理解和利用Hadoop2.5的功能,搭建和管理高效的数据处理集群。

at org.apache.hadoop.ipc.Client.call(Client.java:1476) at org.apache.hadoop.ipc.Client.call(Client.java:1413) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229) at com.sun.proxy.$Proxy29.mkdirs(Unknown Source) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:563) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:191) at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102) at com.sun.proxy.$Proxy30.mkdirs(Unknown Source) at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3014) at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:2984) at org.apache.hadoop.hdfs.DistributedFileSystem$21.doCall(DistributedFileSystem.java:1047) at org.apache.hadoop.hdfs.DistributedFileSystem$21.doCall(DistributedFileSystem.java:1043) at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:1043) at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:1036) at org.apache.hadoop.hive.ql.session.SessionState.createPath(SessionState.java:751) at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:674) at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:586)

2023-07-16 上传