为什么 定义了 def __init__(self, glueContext: GlueContext, config: argparse.Namespace):之后,就可以使用self.config定义一些变量,如self.config.table_full_name,self.config.kms_key_id self.config.error_file_path self.config.JOB_RUN_ID
时间: 2024-04-25 10:27:11 浏览: 80
在 Python 中,我们可以通过在类中定义 `__init__()` 方法来实现初始化对象的操作。当我们实例化一个对象时,Python 会自动调用类的 `__init__()` 方法,并将对象本身作为第一个参数传递给该方法。在这个方法中,我们可以对对象进行一些属性的初始化操作,例如给对象的属性赋初值。
在这里,我们定义了 `__init__()` 方法,并接收两个参数 `glueContext` 和 `config`。其中 `config` 是通过 argparse 模块解析命令行参数得到的一个 `Namespace` 对象,里面包含了一些配置信息。在 `__init__()` 方法中,我们可以将这些配置信息赋值给对象的属性,以便于后续在对象的其他方法中使用。
例如,这里的 `self.config.table_full_name`、`self.config.kms_key_id`、`self.config.error_file_path`、`self.config.JOB_RUN_ID` 都是通过将 `config` 对象中的相应属性赋值给对象的属性而得到的。这样一来,在类的其他方法中,我们就可以通过 `self.config` 来访问这些配置信息,而不必在每个方法中都重新解析一遍命令行参数。
相关问题
def __init__(self, glueContext: GlueContext, config: argparse.Namespace): """ init function. :param glueContext: the glueContext. the spark session can get from glueContext. :param config: Obtained by parsing from the Glue Job Input parameter list. """ self.config = config self.logger = logging.getLogger(self.config.table_full_name) self.logger.info(f'job init with params: {vars(self.config)}') self.glueContext = glueContext self.spark = glueContext.spark_session self.table_schema = Custom_Schema(self.spark).get_schema(self.config.source_file_schema) self.source_df_count = 0 self.destination_df_count = 0 self.load_date = datetime.now() self.logger.info(f'job load date: {self.load_date}') self.database_name, self.table_name = self.config.table_full_name.split('.') self.set_spark_configs()
这是一个Python类的初始化函数,它接受两个参数:glueContext和config。其中,glueContext是Glue的上下文,可以从中获取Spark会话,而config则是从Glue作业的输入参数列表中解析得到的命名空间。在初始化函数中,将这两个参数分别赋值给实例变量self.glueContext和self.config,并且设置了一些其他的实例变量,比如self.logger、self.spark、self.table_schema等。最后,调用了self.set_spark_configs()方法。可以看到,这个类是用来处理一些数据加载和转换的任务的,具体实现需要看其他方法的实现。
阅读全文