:\JAVA\mavean\repository\repository\org\apache\cassandra\cassandra-all\0.8.1\apache-cassandra-thrift-0.8.1.jar (系统找不到指定的文件。)
时间: 2024-01-14 14:21:56 浏览: 71
以下是使用spark-submit提交Spark应用程序的两个示例:
引用:
```shell
spark-submit \
--master yarn \
--name "OnLineLogAnalysisV3" \
--conf "spark.scheduler.mode=FAIR" \
--conf "spark.sql.codegen=true" \
--num-executors 3 \
--executor-cores 1 \
--executor-memory 2G \
--driver-class-path /data/aaron/software/mysql-connector-java-5.1.27-bin.jar \
--class com.onlinelog.www.OnLineLogAnalysisV3 \
/data/aaron/lib/loganalysis/0801/loganalysis-1.0-SNAPSHOT-jar-with-dependencies.jar
```
引用:
```shell
spark-submit \
--master yarn \
--name "OnLineLogAnalysisV3" \
--conf "spark.scheduler.mode=FAIR" \
--conf "spark.sql.codegen=true" \
--num-executors 3 \
--executor-cores 1 \
--executor-memory 2G \
--jars /data/aaron/software/mysql-connector-java-5.1.27-bin.jar \
--class com.onlinelog.www.OnLineLogAnalysisV3 \
/data/aaron/lib/loganalysis/0801/loganalysis-1.0-SNAPSHOT-jar-with-dependencies.jar
```
这两个示例都是使用spark-submit命令来提交Spark应用程序。其中,`--master yarn`指定了Spark应用程序的运行模式为YARN模式,`--name "OnLineLogAnalysisV3"`指定了应用程序的名称为"OnLineLogAnalysisV3",`--conf "spark.scheduler.mode=FAIR"`指定了调度器模式为FAIR模式,`--conf "spark.sql.codegen=true"`指定了Spark SQL的代码生成为开启状态。
其他参数包括`--num-executors`指定了执行器的数量,`--executor-cores`指定了每个执行器的核心数,`--executor-memory`指定了每个执行器的内存大小。`--driver-class-path`指定了驱动程序的类路径,`--jars`指定了需要加载的外部JAR包。
最后,`--class com.onlinelog.www.OnLineLogAnalysisV3`指定了要运行的主类,`/data/aaron/lib/loganalysis/0801/loganalysis-1.0-SNAPSHOT-jar-with-dependencies.jar`指定了要提交的应用程序的JAR包路径。