airflow调取python自定义方法怎么用PythonOperator
时间: 2024-09-13 19:05:21 浏览: 58
`Airflow` 是一个工作流调度平台,它使用 DAG(有向无环图)的概念来组织任务。`PythonOperator` 是 Airflow 提供的一个操作符,可以用来在 DAG 中执行 Python 函数。
使用 `PythonOperator` 调用 Python 自定义方法的基本步骤如下:
1. 定义一个 Python 函数,这个函数包含了你想要执行的代码逻辑。
2. 在 DAG 文件中创建一个 `PythonOperator` 实例,指定你定义的函数为 `python_callable` 参数。
3. 如果需要向函数传递参数,可以通过 `op_kwargs` 或者 `op_args` 参数传递。
下面是一个简单的示例代码:
```python
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime
# 定义一个 Python 函数
def my_custom_function(**context):
print("我是自定义的 Python 函数!")
# 创建 DAG 实例
default_dag_args = {
'start_date': datetime(2021, 1, 1),
'owner': 'airflow',
'depends_on_past': False,
'email': ['airflow@example.com'],
'email_on_failure': False,
'email_on_retry': False,
}
dag = DAG('example_dag', default_args=default_dag_args, schedule_interval=None)
# 创建 PythonOperator 实例
python_task = PythonOperator(
task_id='python_task',
python_callable=my_custom_function,
dag=dag
)
```
在这个示例中,`my_custom_function` 是一个简单的 Python 函数,它将在 DAG 中作为任务执行。`PythonOperator` 创建了一个名为 `python_task` 的任务,指定了要执行的函数 `my_custom_function`,并将其加入到 `dag` 中。
阅读全文