spark-sql字段血缘

在Spark SQL中，字段血缘是通过拿到insert语句并经过SparkSqlParser、Analyzer、Optimizer、SparkPlanner等组件的处理，最终得到物理计划来实现的。Spark SQL允许用户对SQL解析、逻辑计划分析和检查、逻辑计划优化、物理计划形成等进行扩展，而且扩展的代价相对较小。通过这些组件的处理，Spark SQL可以跟踪和记录数据源之间的依赖关系，从而实现字段血缘的功能。