liunx 定时任务通过shell脚本调用不到spark-submit
时间: 2023-07-01 07:28:50 浏览: 54
这可能是因为你的Shell脚本没有正确设置环境变量或者没有包含正确的路径信息。在Shell脚本中,可以使用`source`命令来加载环境变量文件,或者使用绝对路径来调用`spark-submit`命令。
另外,还需要确保你的Shell脚本有执行权限。你可以使用`chmod`命令来为Shell脚本添加执行权限。例如:
```
chmod +x your_script.sh
```
最后,你可以在Shell脚本中添加一些日志输出语句,以便查看执行过程中出现的错误信息。
相关问题
liunx 定时任务通过脚本文件调用spark-submit
要在 Linux 中定时通过脚本文件调用 `spark-submit` 命令,可以使用 crontab 服务。下面是具体的步骤:
1. 创建一个新的脚本文件,例如 `run_spark_app.sh`,并添加以下内容:
```bash
#!/bin/bash
# 切换到应用程序所在的目录
cd /path/to/app/directory
# 提交应用程序
/path/to/spark-submit /path/to/app.py
```
其中,`/path/to/app/directory` 表示应用程序所在的目录,`/path/to/spark-submit` 表示 `spark-submit` 命令的路径,`/path/to/app.py` 表示要提交的应用程序的路径。
2. 将脚本文件设置为可执行文件,使用以下命令:
```
chmod +x run_spark_app.sh
```
3. 打开终端并输入 `crontab -e` 命令,打开 crontab 编辑器。
4. 在编辑器中添加一个新的定时任务。例如,要每天早上 6 点调用 `run_spark_app.sh` 脚本文件,在编辑器中添加以下行:
```
0 6 * * * /path/to/run_spark_app.sh
```
其中,`0 6 * * *` 表示每天早上 6 点,`/path/to/run_spark_app.sh` 表示要调用的脚本文件的路径。
5. 保存并退出编辑器。
现在,Linux 系统将每天早上 6 点自动调用 `run_spark_app.sh` 脚本文件来提交应用程序。如果需要调用其他应用程序,只需将应用程序路径替换为所需应用程序的路径即可。
liunx 定时任务脚本调用spark-submit
要在 Linux 中定时调用 `spark-submit` 命令,可以使用 crontab 服务。下面是具体的步骤:
1. 打开终端并输入 `crontab -e` 命令,打开 crontab 编辑器。
2. 在编辑器中添加一个新的定时任务。例如,要每天早上 6 点调用一个 `spark-submit` 命令来提交一个名为 `example_app.py` 的 Python 应用程序,在编辑器中添加以下行:
```
0 6 * * * /path/to/spark-submit /path/to/example_app.py
```
其中,`0 6 * * *` 表示每天早上 6 点,`/path/to/spark-submit` 表示 `spark-submit` 命令的路径,`/path/to/example_app.py` 表示要提交的 Python 应用程序的路径。
3. 保存并退出编辑器。
现在,Linux 系统将每天早上 6 点自动调用 `spark-submit` 命令来提交 `example_app.py` 应用程序。如果需要调用其他应用程序,只需将应用程序路径替换为所需应用程序的路径即可。