mongodb on spark sql 统计数据并保存到mysql

### 回答1：
可以使用Spark SQL连接MongoDB，对数据进行统计分析，然后将结果保存到MySQL中。

具体步骤如下：

1. 首先，需要在Spark中引入MongoDB的驱动程序，可以使用以下代码：

spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.1

2. 然后，使用Spark SQL连接MongoDB，读取数据并进行统计分析，可以使用以下代码：

val df = spark.read.format("com.mongodb.spark.sql.DefaultSource")
  .option("uri", "mongodb://localhost/test.coll")
  .load()

df.createOrReplaceTempView("data")

val result = spark.sql("SELECT COUNT(*) FROM data WHERE age > 20")

result.show()

3. 最后，将结果保存到MySQL中，可以使用以下代码：

result.write.format("jdbc")
  .option("url", "jdbc:mysql://localhost:3306/test")
  .option("dbtable", "result")
  .option("user", "root")
  .option("password", "password")
  .save()

其中，url、dbtable、user和password需要根据实际情况进行修改。

以上就是使用Spark SQL连接MongoDB，对数据进行统计分析，并将结果保存到MySQL中的步骤。

### 回答2：
MongoDB是一种NoSQL数据库，而Spark是一种分布式计算框架。它们可以协同工作，以便在处理大规模数据时提高效率和速度。但是，在将MongoDB数据转化为Spark SQL进行统计分析之后，我们可能需要将数据保存到MySQL数据库中。下面是如何使用Spark SQL和Scala将MongoDB数据转化为并保存到MySQL数据库中。

首先，我们需要使用MongoDB的Spark Connector连接MongoDB。在使用Spark Shell进行连接时，我们需要使用以下命令导入依赖项：

import com.mongodb.spark._
import org.apache.spark.sql._

然后，我们可以使用以下代码连接到MongoDB数据库：

val spark = SparkSession.builder()
     .appName("MongoDB with SparkSQL")
     .master("local[*]")
     .config("spark.mongodb.input.uri", "mongodb://localhost/test.myCollection")
     .config("spark.mongodb.output.uri", "mongodb://localhost/test.outCollection")
     .getOrCreate()

val df = spark.read.mongo()

这将返回一个DataFrame，我们可以使用Spark SQL进行数据分析和处理。例如，我们可以使用以下代码对数据进行聚合：

val aggregationResultDF = df.groupBy("field1").agg(sum("field2"))

出于安全考虑，我们可以在保存到MySQL之前对数据进行清洗和转换。然后，我们可以使用以下代码将结果保存到MySQL：

val mysqlConnectionProperties = new Properties()
mysqlConnectionProperties.setProperty("user", "root")
mysqlConnectionProperties.setProperty("password", "123456")
mysqlConnectionProperties.setProperty("driver", "com.mysql.jdbc.Driver")

aggregationResultDF.write.mode("append").jdbc("jdbc:mysql://localhost/db", "table", mysqlConnectionProperties)

这将把结果保存到名为“table”的MySQL表中。

总之，使用Spark SQL和Scala将MongoDB数据转化为并保存到MySQL数据库中是相对容易的。我们只需连接到MongoDB数据库，将其转换为DataFrame，聚合和处理数据，然后将结果写入MySQL。这可以为我们提供一个强大的数据处理工具，可用于处理大量数据并进行大规模分析。

### 回答3：
MongoDB是一个基于文档的非关系型数据库系统，而Spark SQL是一个基于Spark的模块，可以通过其数据源API轻松访问各种结构化数据源，包括MongoDB数据库。Mysql则是一个高度可扩展的关系型数据库管理系统，广泛用于Web应用程序中。为了将MongoDB中的数据统计并保存到Mysql中，我们可以使用MongoDB-Spark Connector和MySQL Connector for Java。

MongoDB-Spark Connector使我们可以轻松地将MongoDB集合转换为DataFrame数据结构，使我们可以随意使用Spark SQL的各种高级特性和功能来处理MongoDB的数据。可以使用MongoDB-Spark Connector建立连接，并使用其提供的API来读取MongoDB中的数据。例如，以下代码将创建一个名为“students”的DataFrame，其中包含MongoDB中具有“name”和“age”字段的所有记录：

val students = spark.read.format("com.mongodb.spark.sql.DefaultSource").option("uri","mongodb://localhost/test.students").load()

接下来，我们可以使用Spark SQL来对这些数据进行各种统计操作和计算。例如，以下命令将计算姓名为“Tom”的学生的平均年龄：

import org.apache.spark.sql.functions._
students.filter($"name" === "Tom").agg(avg("age"))

一旦我们完成了Spark SQL中的统计和计算过程，我们需要将结果保存到Mysql数据库中。为此，我们可以使用Mysql Connector for Java建立连接，并使用其提供的API将数据写入Mysql数据库。以下代码展示了如何使用Mysql Connector for Java来将数据框中的数据写入名为“results”的表中：

val properties = new Properties()
properties.put("user", "root") // MySQL用户名
properties.put("password", "root") // MySQL登录密码

result.write.mode("append").jdbc("jdbc:mysql://localhost/test", "results", properties)

此外，我们还可以使用Spark的Parallelize功能将结果保存到HDFS等分布式文件系统中。

总之，在将MongoDB中的数据统计并保存到Mysql中的整个过程中，我们可以利用Spark SQL和相关的连接器库（MongoDB-Spark Connector和MySQL Connector for Java）来快速方便地实现，从而提高大规模数据处理的效率和精度。