docker中hadoop运行jar包

要在docker中运行Hadoop中的jar包，可以按照以下步骤操作：

1. 创建一个Hadoop的Docker镜像，可以使用已有的镜像，也可以自己构建一个。例如：

docker pull sequenceiq/hadoop-docker:2.7.1

2. 启动一个Hadoop集群容器：

docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash

3. 将jar包上传到容器中，可以使用`docker cp`命令：

docker cp /path/to/jar/file.jar container_name:/path/in/container/file.jar

4. 运行jar包：

hadoop jar /path/to/jar/file.jar

在运行jar包时，可能需要指定一些参数，例如输入文件路径、输出文件路径等等，具体参数可以参考Hadoop文档或者jar包的README文件。

相关问题

将jar包提交到spark中运行需要开什么集群

将jar包提交到Apache Spark中运行通常是在Hadoop生态系统内，如Hadoop YARN或Spark Standalone集群上进行。以下是基本步骤：

1. **设置集群**: 首先，你需要有一个配置好的Spark集群，这可以是Spark on YARN、Spark standalone、Docker容器或者Kubernetes等。确保集群已经启动并连接到了正确的HDFS（Hadoop分布式文件系统）。

2. **创建jar包**: 使用Maven或Gradle构建你的项目，然后打包成jar文件。

3. **配置环境变量**: 在客户端机器上，设置SPARK_HOME环境变量指向Spark安装目录，并配置JAVA_HOME指向JDK的路径。

4. **编写driver程序**: 在jar包中的main函数中编写Spark应用程序的驱动部分，它会指定job的位置（即jar文件），以及可能的配置参数。

5. **提交作业**: 使用`spark-submit`命令提交jar包到集群。例如：

   spark-submit --class your.main.ClassName --master yarn-client --deploy-mode cluster --archives path_to_your_jar.jar /path/to/your/application.properties

这里`--class`指定了主类，`--master`指定了集群模式（yarn-client表示从YARN申请资源），`--deploy-mode`决定了部署策略，`--archives`用于指定包含在jar中的额外资源，`application.properties`是其他配置选项。

查看 镜像 中的 jar 版本

要查看 Docker 镜像中的 jar 版本，可以使用以下命令：

docker run --rm image_name sh -c "java -jar /path/to/jar/file.jar --version"

其中，`image_name` 是你要查看的 Docker 镜像的名称，`/path/to/jar/file.jar` 是相对于镜像根目录的 jar 文件路径，`--version` 是 jar 包的版本命令。

例如，如果要查看 `hadoop-docker` 镜像中的 `hadoop-streaming` 版本，可以使用以下命令：

docker run --rm sequenceiq/hadoop-docker sh -c "hadoop jar /usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.7.1.jar --version"

这将在容器中运行 `hadoop-streaming` 的 jar 包，并输出其版本信息。你可以根据需要修改命令中的镜像名称和 jar 文件路径。