liunx 定时任务脚本调用spark-submit

要在 Linux 中定时调用 `spark-submit` 命令，可以使用 crontab 服务。下面是具体的步骤：

1. 打开终端并输入 `crontab -e` 命令，打开 crontab 编辑器。

2. 在编辑器中添加一个新的定时任务。例如，要每天早上 6 点调用一个 `spark-submit` 命令来提交一个名为 `example_app.py` 的 Python 应用程序，在编辑器中添加以下行：

   0 6 * * * /path/to/spark-submit /path/to/example_app.py

其中，`0 6 * * *` 表示每天早上 6 点，`/path/to/spark-submit` 表示 `spark-submit` 命令的路径，`/path/to/example_app.py` 表示要提交的 Python 应用程序的路径。

3. 保存并退出编辑器。

现在，Linux 系统将每天早上 6 点自动调用 `spark-submit` 命令来提交 `example_app.py` 应用程序。如果需要调用其他应用程序，只需将应用程序路径替换为所需应用程序的路径即可。

相关问题

liunx 定时任务通过脚本文件调用spark-submit

要在 Linux 中定时通过脚本文件调用 `spark-submit` 命令，可以使用 crontab 服务。下面是具体的步骤：

1. 创建一个新的脚本文件，例如 `run_spark_app.sh`，并添加以下内容：

   #!/bin/bash
   
   # 切换到应用程序所在的目录
   cd /path/to/app/directory
   
   # 提交应用程序
   /path/to/spark-submit /path/to/app.py

其中，`/path/to/app/directory` 表示应用程序所在的目录，`/path/to/spark-submit` 表示 `spark-submit` 命令的路径，`/path/to/app.py` 表示要提交的应用程序的路径。

2. 将脚本文件设置为可执行文件，使用以下命令：

   chmod +x run_spark_app.sh

3. 打开终端并输入 `crontab -e` 命令，打开 crontab 编辑器。

4. 在编辑器中添加一个新的定时任务。例如，要每天早上 6 点调用 `run_spark_app.sh` 脚本文件，在编辑器中添加以下行：

   0 6 * * * /path/to/run_spark_app.sh

其中，`0 6 * * *` 表示每天早上 6 点，`/path/to/run_spark_app.sh` 表示要调用的脚本文件的路径。

5. 保存并退出编辑器。

现在，Linux 系统将每天早上 6 点自动调用 `run_spark_app.sh` 脚本文件来提交应用程序。如果需要调用其他应用程序，只需将应用程序路径替换为所需应用程序的路径即可。

liunx 定时任务通过shell脚本调用不到spark-submit

这可能是因为你的Shell脚本没有正确设置环境变量或者没有包含正确的路径信息。在Shell脚本中，可以使用`source`命令来加载环境变量文件，或者使用绝对路径来调用`spark-submit`命令。

另外，还需要确保你的Shell脚本有执行权限。你可以使用`chmod`命令来为Shell脚本添加执行权限。例如：

chmod +x your_script.sh

最后，你可以在Shell脚本中添加一些日志输出语句，以便查看执行过程中出现的错误信息。