Caused by: org.apache.spark.api.python.PythonException: Traceback (most recent call last): File "/opt/module/spark-3.0.0/python/lib/pyspark.zip/pyspark/worker.py", line 587, in main func, profiler, deserializer, serializer = read_command(pickleSer, infile) File "/opt/module/spark-3.0.0/python/lib/pyspark.zip/pyspark/worker.py", line 74, in read_command command = serializer._read_with_length(file) File "/opt/module/spark-3.0.0/python/lib/pyspark.zip/pyspark/serializers.py", line 172, in _read_with_length return self.loads(obj) File "/opt/module/spark-3.0.0/python/lib/pyspark.zip/pyspark/serializers.py", line 458, in loads return pickle.loads(obj, encoding=encoding) File "<frozen zipimport>", line 259, in load_module File "/opt/module/spark-3.0.0/python/lib/pyspark.zip/pyspark/mllib/__init__.py", line 28, in <module> import numpy ModuleNotFoundError: No module named 'numpy'

根据异常信息可以看出，该Spark任务执行时缺少 numpy 模块，因此导致任务执行失败。numpy 是Python中非常常用的数值计算库，很多Spark MLlib中的算法也需要依赖它。解决这个问题可以通过在Spark节点上安装 numpy 模块来解决。可以使用 pip 安装 numpy，例如在Linux环境下可以通过以下命令安装：

pip install numpy

如果你已经安装了 numpy，但仍然遇到这个问题，需要确保 numpy 安装在Spark节点上，可以通过以下命令查看 numpy 安装位置：

pip show numpy

然后在Spark任务中将 numpy 的安装路径添加到PYTHONPATH环境变量中，例如可以在Spark任务提交命令中加入以下参数：

--conf "spark.executorEnv.PYTHONPATH=/path/to/numpy:$PYTHONPATH"