Python项目中，有个主文件main.py，两个存有函数文件warn1.py和warn2.py，main.py中会有代码import warn1和import warn2，这种功能在spark-submit中如何实现

在`spark-submit`命令中，您可以使用`--py-files`选项将Python包传递给Spark集群。这将使您的Python包在集群中的所有节点上可用，从而使您的Spark应用程序能够正确地导入这些模块。

以下是一个简单的示例：

1. 首先，将您的Python模块（`warn1.py`和`warn2.py`）放在一个名为`your_package`的目录中。您的目录结构应该如下所示：

- your_package
  - __init__.py
  - warn1.py
  - warn2.py
- main.py

2. 在`your_package`目录中的__init__.py文件中导入和导出您的Python模块。例如：

from .warn1 import *
from .warn2 import *

这将导入`warn1.py`和`warn2.py`中的所有函数，并将它们导出为包级别函数。

3. 在`spark-submit`命令中使用`--py-files`选项将整个`your_package`目录传递给Spark集群。例如：

spark-submit --py-files /path/to/your_package /path/to/main.py

这将使`your_package`目录在Spark集群的所有节点上可用。

4. 在您的`main.py`文件中，您可以像这样导入`your_package`模块：

from your_package import *

这将使`warn1.py`和`warn2.py`中的所有函数在`main.py`中可用。

希望这可以帮助您了解如何在`spark-submit`中正确地导入Python模块。