csv文件第一行时表头信息,该文件包含了约160万随机用户产生的用户行为(行为包括浏览、下单、关注、评论、加购、咨询客服、投诉),即数据集的每一行表示一条用户行为,由act_date、act_time、user、act_type、sku组成,并以逗号分隔。关于数据集中每一列的详细描述如下: 用spark程序将所包含的空值那一条数据删除,并输出到同一个新的CSV文,注意是将所有结果输出到同一个csv文件中,不是同一个目录下
时间: 2023-07-10 10:07:20 浏览: 84
淘宝用户行为数据集 CSV(随机抽取100万条记录)
5星 · 资源好评率100%
可以使用以下Spark代码来实现:
```scala
import org.apache.spark.sql.SparkSession
object CsvCleaner {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.appName("CsvCleaner")
.getOrCreate()
val csvPath = args(0)
val outputPath = args(1)
val df = spark.read
.option("header", "true")
.option("inferSchema", "true")
.csv(csvPath)
val cleanedDf = df.na.drop()
cleanedDf.coalesce(1).write
.option("header", "true")
.csv(outputPath)
spark.stop()
}
}
```
在命令行中运行该程序,例如:
```
spark-submit --class CsvCleaner csv_cleaner.jar input.csv output.csv
```
其中,`csv_cleaner.jar`是打包好的Spark应用程序的jar包,`input.csv`是输入的CSV文件路径,`output.csv`是输出的CSV文件路径。
该程序首先读取CSV文件,然后使用`na.drop()`方法删除包含空值的行。最后,将结果写入CSV文件,使用`coalesce(1)`方法将所有结果输出到同一个CSV文件中。注意,`coalesce`方法是用来合并分区的,这里将结果合并到一个分区,然后再输出,这样可以保证结果都在同一个文件中。
阅读全文