self.spark = glueContext.spark_session,这里之后可以引用很多属性嘛?比如self.spark.sql
时间: 2023-08-05 16:49:14 浏览: 43
是的,一旦你通过glueContext创建了一个SparkSession对象并将其赋给self.spark,你就可以使用self.spark对象调用SparkSession的所有方法和属性,包括self.spark.sql方法。这个SparkSession对象是一个全局对象,可以在整个作业的执行过程中使用。
相关问题
def __init__(self, glueContext: GlueContext, config: argparse.Namespace): """ init function. :param glueContext: the glueContext. the spark session can get from glueContext. :param config: Obtained by parsing from the Glue Job Input parameter list. """ self.config = config self.logger = logging.getLogger(self.config.table_full_name) self.logger.info(f'job init with params: {vars(self.config)}') self.glueContext = glueContext self.spark = glueContext.spark_session self.table_schema = Custom_Schema(self.spark).get_schema(self.config.source_file_schema) self.source_df_count = 0 self.destination_df_count = 0 self.load_date = datetime.now() self.logger.info(f'job load date: {self.load_date}') self.database_name, self.table_name = self.config.table_full_name.split('.') self.set_spark_configs()
这是一个Python类的初始化函数,它接受两个参数:glueContext和config。其中,glueContext是Glue的上下文,可以从中获取Spark会话,而config则是从Glue作业的输入参数列表中解析得到的命名空间。在初始化函数中,将这两个参数分别赋值给实例变量self.glueContext和self.config,并且设置了一些其他的实例变量,比如self.logger、self.spark、self.table_schema等。最后,调用了self.set_spark_configs()方法。可以看到,这个类是用来处理一些数据加载和转换的任务的,具体实现需要看其他方法的实现。
self.manager = QThreadPool() self.label.mousePressEvent = self.open_video_max1 self.label_2.mousePressEvent = self.open_video_max2 self.label_3.mousePressEvent = self.open_video_max3
这段代码中,首先创建了一个 `QThreadPool` 对象,并将其赋值给 `self.manager` 属性。`QThreadPool` 是一个线程池,用于管理多线程任务的执行。
接下来,通过将 `self.open_video_max1`、`self.open_video_max2` 和 `self.open_video_max3` 方法分别赋值给 `self.label.mousePressEvent`、`self.label_2.mousePressEvent` 和 `self.label_3.mousePressEvent` 属性,为窗口中的三个 `QLabel` 控件绑定了点击事件。当用户点击对应的 `QLabel` 时,会触发相应的点击事件,从而调用对应的方法。
相关推荐
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)