spark.range怎么用
时间: 2023-09-26 22:14:22 浏览: 165
Mastering.Apache.Spark.178397146
5星 · 资源好评率100%
`spark.range()` 函数是用于创建一个包含一系列连续整数的 DataFrame。
下面是使用 `spark.range()` 函数的示例代码:
```python
# 导入 PySpark 模块
from pyspark.sql import SparkSession
# 创建 SparkSession 对象
spark = SparkSession.builder.appName("RangeExample").getOrCreate()
# 创建一个包含 10 个连续整数的 DataFrame
df = spark.range(10)
# 显示 DataFrame 中的数据
df.show()
```
上述代码将创建一个包含 10 个连续整数的 DataFrame,并将其显示出来。结果如下:
```
+---+
| id|
+---+
| 0|
| 1|
| 2|
| 3|
| 4|
| 5|
| 6|
| 7|
| 8|
| 9|
+---+
```
`spark.range()` 函数还支持指定起始值、结束值和步长来创建 DataFrame。例如,下面是一个从 5 到 50,步长为 5 的 DataFrame:
```python
df = spark.range(5, 50, 5)
df.show()
```
结果如下:
```
+---+
| id|
+---+
| 5|
| 10|
| 15|
| 20|
| 25|
| 30|
| 35|
| 40|
| 45|
+---+
```
阅读全文