使用pyspark，如何在端口的网页界面上查看有几个worker正在工作

在Pyspark中，可以使用Spark UI来查看有多少个worker正在工作。Spark UI是一个Web界面，它提供了有关Spark应用程序的详细信息，包括Spark作业、阶段、任务和执行器等。

要启动Spark UI，可以在Pyspark中运行以下命令：

from pyspark import SparkContext, SparkConf

conf = SparkConf().setAppName("MyApp").setMaster("local[2]") # 设置2个worker
sc = SparkContext(conf=conf)

# 运行你的Spark作业

# 在浏览器中访问 http://localhost:4040/ 即可查看Spark UI

在Spark UI中，可以查看正在运行的应用程序的信息，如应用程序ID、Driver主机、Spark版本、启动时间等。还可以查看有关正在运行的作业、阶段和任务的详细信息，并可以查看每个执行器的资源使用情况。在执行器部分，可以看到每个worker的资源使用情况，以及它们的状态和任务数量。从这里可以看到有几个worker正在工作。

注意：如果您正在运行Spark集群，请使用Spark集群管理器（如YARN或Mesos）来启动和管理Spark应用程序，并使用相应的Web界面来查看有关Spark应用程序的详细信息。