帮我写一个spark读mysql
时间: 2023-11-22 09:57:54 浏览: 79
Spark与Mysql的交互
5星 · 资源好评率100%
下面是一个简单的Spark读取MySQL的示例代码:
```scala
import java.util.Properties
import org.apache.spark.sql.SparkSession
object ReadMySQL {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.appName("Read MySQL")
.master("local[*]")
.getOrCreate()
val url = "jdbc:mysql://localhost:3306/mydatabase"
val properties = new Properties()
properties.put("user", "myuser")
properties.put("password", "mypassword")
val df = spark.read.jdbc(url, "mytable", properties)
df.show()
spark.stop()
}
}
```
在这个示例中,我们首先创建了一个SparkSession对象,然后指定了MySQL数据库的连接URL和登录信息。接下来,我们使用`spark.read.jdbc()`方法从MySQL数据库中读取名为`mytable`的表,并将其转换为DataFrame对象。最后,我们使用`df.show()`方法显示DataFrame对象中的数据。
请注意,此示例假定您已经将MySQL JDBC驱动程序添加到您的Spark应用程序的classpath中。如果没有,则需要在构建您的应用程序时将其添加到`--jars`选项中。
阅读全文