airflow中 MysqlOperator样例 在github上的地址
时间: 2024-11-09 20:18:56 浏览: 23
Airflow是一个流行的开源工作流管理系统,它允许用户创建、调度和监控复杂的任务流程。MysqlOperator是Apache Airflow的一个插件,用于从MySQL数据库读取数据或写入数据。
下面是一个简单的MysqlOperator示例,假设我们想要从MySQL查询数据并存储结果到一个新的表:
```python
from airflow import DAG
from airflow.providers.mysql.operators.mysql import MySqlOperator
default_args = {
'owner': 'airflow',
'start_date': datetime(2023, 1, 1),
}
with DAG('example_mysql_operator', default_args=default_args, schedule_interval='@once') as dag:
# 查询操作
query_data = MySqlOperator(
task_id='query_task',
sql="SELECT * FROM your_table",
mysql_conn_id='your_mysql_connection', # 配置你的MySQL连接ID
dest='new_table', # 将结果写入新的表
)
# 运行dag
query_data()
```
这个例子会在指定的时间运行一次,执行SQL查询并将结果保存到新的表`new_table`中。你需要在Airflow的配置文件(如`airflow.cfg`)中设置`mysql_conn_id`为你的MySQL连接id,这通常是在`[core]`部分定义的。
你可以在这个GitHub仓库找到Airflow官方示例:https://github.com/apache/airflow/tree/main/airflow/providers/mysql/example_dags
阅读全文