Hadoop 3.1.3 Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579 Compiled by ztang on 2019-09-12T02:47Z Compiled with protoc 2.5.0 From source with checksum ec785077c385118ac91aadde5ec9799 This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.1.3.jar
时间: 2023-12-26 14:04:27 浏览: 79
谢谢分享Hadoop 3.1.3的源代码仓库和编译信息。Hadoop是一个开源的分布式计算框架,用于处理大规模数据集的分布式存储和处理任务。这个版本编译于2019年9月12日,使用了protoc 2.5.0进行编译。同时,你还提到了这个命令是使用`/usr/local/hadoop/share/hadoop/common/hadoop-common-3.1.3.jar`运行的。有什么问题我可以帮助你解答吗?
相关问题
Could not find artifact org.apache.hadoop:hadoop-MapReduce-client-core:pom:2.7.7 in central (https://repo.maven.apache.org/maven2) Could not find artifact org.apache.hadoop:hadoop-MapReduce-client-core:pom:2.7.7 in central (https://repo.maven.apache.org/
这个错误提示意味着 Maven 无法在默认的 Maven 仓库中找到 "org.apache.hadoop:hadoop-MapReduce-client-core:pom:2.7.7" 这个依赖。这可能是因为你的 Maven 配置中没有正确指定所需的 Maven 仓库。
你可以尝试添加一个 Maven 仓库,以便能够下载所需的依赖。你可以在你的 Maven 配置文件(pom.xml)中添加以下代码块:
```
<repositories>
<repository>
<id>apache</id>
<url>https://repository.apache.org/content/repositories/releases/</url>
</repository>
</repositories>
```
这个代码块指定了 Apache 的 Maven 仓库,它包含了许多 Apache 的项目和依赖。如果你的依赖在这个仓库中可用,那么 Maven 将会从这个仓库下载它。
如果你的依赖不在 Apache 的 Maven 仓库中,那么你需要查找它所在的仓库并将其添加到你的 Maven 配置文件中。
启动flume时报错Info: Including Hadoop libraries found via (/opt/software/hadoop-2.8.3/bin/hadoop) for HDFS access Info: Including Hive libraries found via () for Hive access + exec /opt/jdk1.8.0_261/bin/java -Xmx20m -cp '/opt/software/flume-1.8.0/conf:/opt/software/flume-1.8.0/lib/*:/opt/software/hadoop-2.8.3/etc/hadoop:/opt/software/hadoop-2.8.3/share/hadoop/common/lib/*:/opt/software/hadoop-2.8.3/share/hadoop/common/*:/opt/software/hadoop-2.8.3/share/hadoop/hdfs:/opt/software/hadoop-2.8.3/share/hadoop/hdfs/lib/*:/opt/software/hadoop-2.8.3/share/hadoop/hdfs/*:/opt/software/hadoop-2.8.3/share/hadoop/yarn/lib/*:/opt/software/hadoop-2.8.3/share/hadoop/yarn/*:/opt/software/hadoop-2.8.3/share/hadoop/mapreduce/lib/*:/opt/software/hadoop-2.8.3/share/hadoop/mapreduce/*:/contrib/capacity-scheduler/*.jar:/lib/*' -Djava.library.path=:/opt/software/hadoop-2.8.3/lib/native org.apache.flume.node.Application --conf-file /opt/software/flume-1.8.0/conf/hdfs.conf --name agent1 Dflume.root.logger=DEBUG,console SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/software/flume-1.8.0/lib/slf4j-log4j12-1.6.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/opt/software/hadoop-2.8.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.是什么原因
这个错误提示说了两个问题:
1. 发现了多个 SLF4J 日志绑定。这通常发生在在一个应用程序中包含多个不同版本的 SLF4J 库时。这可能会导致日志记录错误或日志重复。可以通过删除其中一个或将其排除来解决此问题。
2. 找不到 Hive 库。这很可能是因为您没有正确设置 Hive 的类路径。您需要在 flume 的 classpath 中包含 Hive 相关的库。可以尝试设置 HIVE_HOME 环境变量并将 $HIVE_HOME/lib 添加到 flume 的 classpath 中,或者手动添加 Hive 相关的 jar 包到 flume 的 classpath 中。
要解决这些问题,您可以尝试以下步骤:
1. 检查 flume 和 Hadoop 版本是否兼容。如果不兼容,可能会导致类路径问题和其他错误。建议使用 Hadoop 2.x 版本与 flume 1.x 版本搭配使用。
2. 检查 flume 的 classpath 是否正确设置。确保 flume 的 classpath 包含 Hive 相关的库。
3. 检查 SLF4J 日志绑定问题。如果存在多个 SLF4J 日志绑定,可以删除其中一个或将其排除。
希望这些信息可以帮助您解决问题。
阅读全文