PythonOperator Airflow 使用教程

PythonOperator 是 Airflow 中常用的一个 Operator，用于执行 Python 脚本。以下是 PythonOperator 的使用教程：

1. 导入 PythonOperator

from airflow.operators.python_operator import PythonOperator

2. 定义 Python 函数

def my_python_function():
    # your python code here

3. 创建 PythonOperator 实例

my_operator = PythonOperator(
    task_id='my_task',
    python_callable=my_python_function,
    dag=my_dag,
)

4. 参数说明

- `task_id`: 任务的 ID，必须唯一。
- `python_callable`: 要执行的 Python 函数。
- `dag`: 任务所属的 DAG。

5. 添加任务依赖

my_other_task >> my_operator

6. 完整示例

from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.python_operator import PythonOperator

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2021, 1, 1),
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
}

dag = DAG(
    'my_dag',
    default_args=default_args,
    schedule_interval=timedelta(days=1),
)

def my_python_function():
    # your python code here

my_operator = PythonOperator(
    task_id='my_task',
    python_callable=my_python_function,
    dag=dag,
)

my_other_task >> my_operator

希望这个 PythonOperator 的使用教程能够帮助到您！