spark从mysql读取数据

Spark是一个快速、通用、易用的大数据处理引擎，可以通过各种接口向其中输入数据，并对数据进行分析、挖掘等操作。通过Spark的DataFrame API，我们可以连接MySQL数据库并从中读取数据。

首先，我们需要在Spark中导入MySQL驱动程序。在Scala中可以使用以下代码：

import java.util.Properties

val prop = new Properties()
prop.put("user", "root")
prop.put("password", "yourpassword")
val jdbcDF = spark.read
  .jdbc("jdbc:mysql://localhost:3306/yourdatabase", "yourtable", prop)

其中，我们需要设置MySQL的用户名和密码，以及连接的相关信息。然后使用`spark.read.jdbc`方法读取数据，需要指定连接的URL、表名和连接属性。

如果我们需要读取整张表，可以使用以下代码：

val data = jdbcDF.select("*").toDF()

通过select语句选择需要的列，使用toDF方法将DataFrame转换为Scala中的数据结构，即可对数据进行操作。

为了提高性能，我们可以使用分区来并行读取数据。可以通过以下代码指定分区数量：

val jdbcDF = spark.read
  .jdbc("jdbc:mysql://localhost:3306/yourdatabase", "yourtable", prop)
  .repartition(10)

在这个例子中，我们将数据划分为10个分区，以便在集群中并行处理数据。

通过以上操作，我们可以轻松地将MySQL中的数据读入Spark中，并使用Spark的分布式计算功能进行大数据分析和处理。