spark在 yarn上如何打断点
时间: 2023-06-13 15:05:24 浏览: 64
在 YARN 上运行的 Spark 应用程序可以使用 Spark 自带的 `spark-submit` 脚本来提交,可以通过在提交命令中设置 `--conf spark.driver.extraJavaOptions="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=<port>"` 参数来启用调试模式。其中 `address` 参数指定了调试器连接的端口号。
具体步骤如下:
1. 编辑 Spark 应用程序,添加需要调试的代码。
2. 在提交命令中添加 `--conf spark.driver.extraJavaOptions="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=<port>"` 参数,其中 `<port>` 是调试器连接的端口号。
例如:
```
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--conf spark.driver.extraJavaOptions="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005" \
/path/to/examples.jar \
10
```
3. 提交应用程序并等待应用程序启动,应用程序会暂停在启动代码处等待调试器连接。
4. 在 IDE 中创建一个远程调试配置,连接到 YARN 集群上的调试器端口。
5. 在 IDE 中设置断点,开始调试应用程序。
注意,启用调试模式会对应用程序的性能产生一定的影响,因此在调试完成后需要将调试代码删除或者禁用调试模式。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)