spark sql insertinto 源码

Spark SQL中的`insertInto`方法是用于将数据插入到现有的表中的一个重要方法。下面是`insertInto`方法的简要源代码解析。

源码位置：`org.apache.spark.sql.DataFrameWriter`

方法签名：`def insertInto(tableName: String, overwrite: Boolean = false): Unit`

该方法接受两个参数：`tableName`表示要插入数据的目标表的名称，`overwrite`表示是否覆盖目标表的数据，默认为`false`。

方法实现：
1. 首先，该方法会获取当前的`SparkSession`对象，也就是表示Spark SQL会话的单例对象。
2. 接下来，它通过调用`SparkSession`对象的`catalog`属性来获取元数据管理器`Catalog`。
3. 然后，方法会调用`Catalog`的`manipulateTable`方法，传入目标表的名称，以及一个`ALTER TABLE ... INSERT INTO ...`格式的SQL语句，并将`overwrite`参数传递给SQL语句中的`OVERWRITE`关键字。
4. `manipulateTable`方法会将SQL语句提交给Spark SQL的执行引擎进行解析和执行。
5. 如果`overwrite`参数为`true`，则在执行插入操作之前，`manipulateTable`方法会先调用`Catalog`的`dropTable`方法删除目标表的数据。
6. 在`manipulateTable`方法执行完毕后，`insertInto`方法结束。

总结：`insertInto`方法的作用是将数据插入到现有的表中。它通过调用元数据管理器`Catalog`的`manipulateTable`方法，传递目标表的名称和插入语句，实现将数据插入到目标表中的功能。