sparksql 实现 Haversine公式

Haversine公式是一种计算两个经纬度坐标之间距离的公式，可以用于计算两个地点之间的直线距离。在SparkSQL中，可以使用自定义UDF（用户定义函数）来实现Haversine公式的计算。

以下是一个示例UDF，它接受4个参数：两个地点的经度和纬度。它使用Haversine公式计算这两个地点之间的距离，并以千米为单位返回结果。

import org.apache.spark.sql.functions._
import org.apache.spark.sql.expressions.UserDefinedFunction
import org.apache.spark.sql.types.{DoubleType, StructField, StructType}

val haversine: UserDefinedFunction = udf((lat1: Double, lon1: Double, lat2: Double, lon2: Double) => {
  val R = 6371 // 地球半径，单位：千米
  val dLat = math.toRadians(lat2 - lat1)
  val dLon = math.toRadians(lon2 - lon1)
  val a = math.sin(dLat / 2) * math.sin(dLat / 2) +
          math.cos(math.toRadians(lat1)) * math.cos(math.toRadians(lat2)) *
          math.sin(dLon / 2) * math.sin(dLon / 2)
  val c = 2 * math.atan2(math.sqrt(a), math.sqrt(1 - a))
  R * c
})

val schema = StructType(Seq(
  StructField("lat1", DoubleType, nullable = false),
  StructField("lon1", DoubleType, nullable = false),
  StructField("lat2", DoubleType, nullable = false),
  StructField("lon2", DoubleType, nullable = false)
))

val df = Seq(
  (39.9042, 116.4074, 31.2304, 121.4737),
  (51.5074, -0.1278, 35.6895, 139.6917),
  (37.7749, -122.4194, 40.7128, -74.0060)
).toDF("lat1", "lon1", "lat2", "lon2")

df.select(haversine($"lat1", $"lon1", $"lat2", $"lon2").alias("distance")).show()

此代码将输出：

+------------------+
|          distance|
+------------------+
|1068.4224170563068|
|9623.935942417476 |
|4135.663958724596 |
+------------------+

这些数字是千米单位下的距离。