aws glue python 脚本怎么接受参数
时间: 2024-02-25 12:53:01 浏览: 89
aws_glue_etl_docker:帮助程序库运行AWS Glue ETL脚本docker容器以在Jupyter笔记本中对开发进行本地测试
AWS Glue Python脚本可以通过以下方式接收参数:
1. 使用sys模块的argv属性获取命令行参数。例如:
```python
import sys
# 第一个参数是脚本名称,后面的才是参数
args = sys.argv[1:]
print(args)
```
在AWS Glue作业中,可以在作业参数中指定命令行参数,例如:
```
--arg_name value
```
这样在Python脚本中就可以通过sys.argv获取到arg_name和value。
2. 使用glueContext的getResolvedOptions方法获取作业参数。例如:
```python
import sys
from awsglue.context import GlueContext
glueContext = GlueContext(SparkContext.getOrCreate())
# 获取作业参数
args = glueContext.getResolvedOptions(sys.argv, ['arg_name'])
print(args['arg_name'])
```
在AWS Glue作业中,可以在作业参数中指定arg_name的值,例如:
```
arg_name=value
```
这样在Python脚本中就可以通过glueContext.getResolvedOptions方法获取到arg_name的值。
阅读全文