spark-sql字段血缘
时间: 2023-10-21 10:06:45 浏览: 142
spark-sql-magic:IPython使用Spark-SQL的魔力
在Spark SQL中,字段血缘是通过拿到insert语句并经过SparkSqlParser、Analyzer、Optimizer、SparkPlanner等组件的处理,最终得到物理计划来实现的。Spark SQL允许用户对SQL解析、逻辑计划分析和检查、逻辑计划优化、物理计划形成等进行扩展,而且扩展的代价相对较小。通过这些组件的处理,Spark SQL可以跟踪和记录数据源之间的依赖关系,从而实现字段血缘的功能。
阅读全文