spark生成随机数

在Spark中生成随机数可以使用Scala中的Java随机数生成器（java.util.Random）或者Spark自带的RandomRDDs库。下面分别介绍这两种方式。

1. 使用Java随机数生成器

可以在Spark任务中使用Java中的随机数生成器来生成随机数。下面是一段示例代码：

import java.util.Random

val r = new Random()
val randomInts = sc.parallelize(Seq.fill(100)(r.nextInt()))

在上面的代码中，首先创建了一个Java随机数生成器对象r，然后通过fill方法生成了100个元素的序列，每个元素都是通过r.nextInt()生成的一个随机整数。最后使用parallelize方法将这个序列转化成RDD。

2. 使用RandomRDDs库

另一种生成随机数的方法是使用Spark自带的RandomRDDs库。这个库提供了几种生成随机数的方法，包括正态分布、均匀分布、泊松分布等。下面是一个简单的示例代码：

import org.apache.spark.mllib.random.RandomRDDs

val randomDoubles = RandomRDDs.normalRDD(sc, 100)

在上面的代码中，使用RandomRDDs库的normalRDD方法生成了100个符合标准正态分布的随机数。可以根据需要选择其他的分布。

相关问题

用spark随机数1到100怎么写

在 Spark 中生成 1 到 100 的随机数，可以使用以下代码：

import org.apache.spark.sql.functions.rand

val randomNumbers = spark.range(100).select(rand(seed=42)*100 as "random_number").selectExpr("cast(random_number as int)")

这里使用了 `rand` 函数来生成 0 到 1 之间的随机数，然后将其乘以 100，最后转换为整数类型。使用 `selectExpr` 函数将列名更改为 `random_number`。在这个例子中，我们生成了 100 个随机数。你可以根据需要调整代码来生成不同数量的随机数。

用pyspark生成一组随机数怎么办

你可以使用pyspark中的random模块来生成一组随机数。具体操作可以参考以下代码：

from pyspark.sql.functions import rand

# 生成一组随机数
random_nums = spark.range(0, 1000).select(rand(seed=42).alias("random")).collect()

# 打印生成的随机数
for row in random_nums:
    print(row.random)

这段代码使用了pyspark中的rand函数来生成随机数，并使用了种子值42来保证每次生成的随机数都是一样的。